Un ingénieur de données a abonné un compartiment S3 à un produit AWS Data Exchange qui fournit des indicateurs économiques. L'ingénieur doit joindre ces données économiques entrantes à une table existante dans Amazon Athena et effectuer toutes les transformations en 30 à 60 minutes. Quelle solution rentable répond à ces exigences ?

L'option correcte est la plus rentable et la plus efficace. Un événement S3 déclenche une fonction Lambda, qui à son tour lance une tâche AWS Glue. AWS Glue est un service ETL sans serveur et géré, idéal pour la transformation et la fusion de données à grande échelle. Il peut lire la table Athena existante, fusionner les nouvelles données économiques et écrire le résultat dans S3, ce qui est ensuite interrogeable via Athena. Ce processus est automatisé et s'exécute dans les délais impartis de 30 à 60 minutes. Les autres options sont moins optimales : L'utilisation de Kinesis Data Streams et Firehose ajoute une complexité et un coût inutiles si les données ne sont pas en streaming continu. SageMaker Data Wrangler est un outil de préparation de données interactif, moins adapté à un pipeline ETL automatisé et sans serveur. Redshift est une solution d'entrepôt de données coûteuse et surdimensionnée pour ce cas d'utilisation, où les données sont déjà dans S3 et interrogeables avec Athena.