Une entreprise migre une application existante vers un lac de données basé sur S3. Les données existantes contiennent des enregistrements en double. L'ingénieur de données doit identifier et supprimer les doublons avec le MOINS de frais opérationnels. Quelle solution l'ingénieur doit-il choisir ?

La solution optimale pour dédupliquer des données avec le moins de frais opérationnels est d'utiliser un job AWS Glue ETL avec la transformation ML FindMatches. AWS Glue est un service ETL sans serveur, ce qui minimise les frais opérationnels liés à la gestion de l'infrastructure. FindMatches est spécifiquement conçu pour identifier et dédupliquer des enregistrements même s'ils ne sont pas des doublons exacts, en utilisant des techniques de Machine Learning, ce qui est très efficace pour les données du monde réel. Les options impliquant des jobs ETL personnalisés en Python (avec Pandas ou la bibliothèque dedupe) nécessitent plus de développement, de maintenance et de gestion des ressources, augmentant ainsi les frais opérationnels. Bien que la bibliothèque dedupe puisse être utilisée dans un job AWS Glue, elle ne tire pas pleinement parti des capacités intégrées et optimisées de Glue pour la déduplication floue comme FindMatches, qui est plus adaptée pour des doublons non exacts et réduit la complexité du code.