Les données client sont stockées quotidiennement dans des fichiers compressés et partitionnés par date dans S3. Les analystes téléchargent et valident les résultats chaque mois, puis les chargent dans QuickSight. L'ingénieur doit vérifier automatiquement la qualité des données avant qu'elles ne soient envoyées à QuickSight, avec le MOINS de surcharge opérationnelle. Quelle solution convient le mieux ?

La solution la plus appropriée est d'exécuter un crawler AWS Glue chaque mois pour mettre à jour le catalogue de données AWS Glue et d'utiliser les règles de qualité des données AWS Glue. Cette approche est la plus simple et la moins coûteuse en termes de surcharge opérationnelle car elle utilise les fonctionnalités intégrées de qualité des données d'AWS Glue, conçues pour ce type de tâche. L'option d'utiliser une tâche AWS Glue avec PySpark et des fonctions personnalisées est plus complexe et génère une surcharge opérationnelle plus élevée. L'exécution de scripts Python sur AWS Lambda déclenchée par S3 est inefficace car la vérification est mensuelle et non à chaque ajout d'objet, et elle nécessite plus de développement et de maintenance. Enfin, l'utilisation de notifications SQS et de métriques CloudWatch n'est pas une solution directe pour évaluer la qualité des données, mais plutôt pour surveiller l'activité des objets.