Você deseja detectar contas fraudulentas e identificar se uma conta recém-criada corresponde a alguma conta fraudulenta conhecida anteriormente. Você está limpando logs com o AWS Glue durante a ingestão. Qual abordagem você deve usar para encontrar contas fraudulentas duplicadas ou correspondentes?

A transformação de machine learning FindMatches do AWS Glue é a abordagem correta porque ela foi projetada especificamente para identificar registros duplicados ou correspondentes em um conjunto de dados, mesmo quando não há um identificador exato. Ela usa aprendizado de máquina para aprender padrões de correspondência a partir de exemplos fornecidos, o que é ideal para detectar contas fraudulentas que podem ter variações sutis. Executar uma consulta FindDuplicates integrada no Amazon Athena não é uma funcionalidade padrão do Athena; o Athena é para consultas SQL e não possui ML integrado para detecção de correspondência difusa. Usar um crawler do AWS Glue para inferir automaticamente contas duplicadas dos dados de origem é incorreto porque os crawlers inferem esquemas e partições, não identificam duplicatas complexas. Pesquisar por duplicatas diretamente no AWS Glue Data Catalog também é incorreto, pois o Data Catalog armazena metadados e não tem a capacidade de realizar detecção de correspondência de dados baseada em ML.