不正なアカウントを検出し、新しく作成されたアカウントが以前に判明した不正なアカウントと一致するかどうかを識別したいと考えています。取り込み中に AWS Glue を使用してログをクレンジングしています。重複または一致する可能性のある不正なアカウントを見つけるには、どのアプローチを使用する必要がありますか？

正解は、AWS Glue の FindMatches 機械学習変換を作成して実行することです。FindMatches は、完全に同一ではないが、同じ実体を参照している可能性のあるレコード（重複、または一致する可能性のあるレコード）を識別するために設計されています。これは、不正なアカウントのように、表記揺れや不完全な情報を含むデータセットから一致するアカウントを特定するのに非常に効果的です。 Amazon Athena の FindDuplicates クエリは、完全に同一のレコードを検出するのに適していますが、表記揺れのある不正なアカウントを検出するのには不十分です。AWS Glue クローラーはスキーマを推論しますが、データ内の重複を自動的に検出する機能はありません。AWS Glue Data Catalog はメタデータを管理しますが、データそのものに対して重複検出を実行する機能はありません。