한 투자 회사가 계속해서 증가하는 반정형 데이터를 수집하고 있으며, 중복 레코드를 제거하고 일반적인 오타를 수정해야 합니다. 가장 적은 운영 오버헤드로 이 기능을 제공하는 옵션은 무엇입니까?

AWS Glue의 FindMatches 기능은 기계 학습을 사용하여 중복 레코드를 식별하고 제거하는 데 최적화되어 있습니다. 이는 반정형 데이터에서 정확히 일치하지 않는 중복(예: 오타 포함)을 찾아내고 수정하는 데 특히 효과적입니다. 운영 오버헤드가 적은 관리형 서비스입니다. Amazon Athena에서 비-윈도우 함수를 사용하는 것은 정확히 일치하는 중복을 제거하는 데 유용하지만, 오타와 같은 불완전한 중복을 처리하는 데는 한계가 있습니다. Amazon Neptune ML과 Apache Gremlin 스크립트는 그래프 데이터베이스용으로 설계되었으며, 중복 제거보다는 관계형 데이터 분석에 더 적합합니다. Amazon DynamoDB의 글로벌 테이블 기능은 고가용성과 재해 복구를 위한 것이며, 중복 데이터 방지 기능은 제공하지 않습니다.