Un partenaire dépose chaque jour un fichier de données dans un compartiment Amazon S3. Un job AWS Glue ETL nettoie et transforme le fichier quotidiennement et écrit le résultat dans Daily.csv dans un autre compartiment S3. Parfois, le fichier entrant est vide ou contient des champs obligatoires manquants ; dans ce cas, l'entreprise souhaite conserver le fichier CSV de la veille. L'ingénieur doit s'assurer que le fichier de la veille n'est écrasé que lorsque le nouveau fichier quotidien est complet et valide. Quelle solution y parvient avec le moins d'effort ?

La solution la plus efficace est d'activer AWS Glue Data Quality (DQ) et de créer des règles DQDL. AWS Glue Data Quality est conçu pour évaluer la qualité des données directement au sein des jobs ETL Glue, permettant de détecter les fichiers vides ou les champs obligatoires manquants. Si les règles DQ échouent, le job peut être configuré pour ne pas écrire le fichier de sortie, préservant ainsi la version précédente. Déclencher une fonction AWS Lambda pour la validation est possible, mais cela ajoute une couche de complexité et de gestion externe au job ETL Glue, augmentant l'effort de développement et de maintenance. Modifier le code du job Glue ETL pour imputer les champs manquants ne résout pas le problème de la validation et pourrait masquer des problèmes de qualité des données plutôt que de les signaler. Exécuter une requête SQL Amazon Athena pour nettoyer le CSV est moins efficace car Athena est un service de requête, pas un outil ETL complet avec des capacités de validation intégrées comme Glue Data Quality.