Een bedrijf migreert een legacy-applicatie naar een S3-gebaseerd data lake. De legacy-data bevat dubbele records. De data engineer moet duplicaten identificeren en verwijderen met de MINSTE operationele overhead. Welke oplossing moet de engineer kiezen?

De correcte optie is het gebruik van een AWS Glue ETL-taak met de FindMatches ML-transformatie. FindMatches is specifiek ontworpen voor het identificeren van dubbele of overeenkomende records, zelfs als ze niet exact identiek zijn, en vereist minimale operationele overhead omdat het een beheerde service is. Het is geoptimaliseerd voor dit soort taken en kan worden getraind op basis van voorbeelden. Aangepaste Python ETL-jobs met Pandas of de Python dedupe-bibliotheek vereisen meer operationele overhead voor het beheer van de infrastructuur en de code. Hoewel Pandas dropduplicates() effectief is voor exacte duplicaten, is FindMatches beter voor "fuzzy matching". Het importeren van de Python dedupe-bibliotheek in een Glue-job is technisch mogelijk, maar FindMatches biedt een meer geïntegreerde en geoptimaliseerde oplossing binnen het AWS-ecosysteem voor deze specifieke uitdaging.