Une entreprise télécharge quotidiennement des données dans un compartiment S3 et utilise l'AWS Glue Data Catalog. Certains jours, un rapport quotidien est exécuté avant l'arrivée de toutes les données. L'ingénieur de données doit envoyer un message identifiant toute donnée incomplète à une rubrique Amazon SNS existante avec un minimum de frais opérationnels. Quelle solution répond à ce besoin ?

Cette solution est la plus efficace car elle s'intègre nativement avec les services AWS existants de l'entreprise (AWS Glue Data Catalog et S3) et minimise les frais opérationnels. Les workflows AWS Glue peuvent orchestrer des tâches de qualité des données et s'intégrer directement avec Amazon EventBridge. EventBridge peut ensuite facilement acheminer l'événement vers la rubrique SNS existante, offrant une solution sans serveur et entièrement gérée. Les autres options impliquent des services qui nécessitent plus de gestion (Apache Airflow, Amazon EMR) ou sont moins optimisés pour ce cas d'utilisation spécifique (fonctions Lambda pour des contrôles de qualité complexes sur de grands volumes de données). Par exemple, un cluster Airflow ou EMR introduit une complexité et des coûts de gestion supplémentaires par rapport à une solution basée sur AWS Glue et EventBridge. Les fonctions Lambda pourraient être utilisées, mais pour des contrôles de qualité complexes sur des données S3, un workflow Glue est souvent plus approprié et plus facile à maintenir.