Une entreprise possède trois filiales utilisant différents moteurs d'entreposage de données (Amazon Redshift, Teradata Vantage sur AWS et Google BigQuery). Elles souhaitent consolider les données dans un lac de données S3 à l'aide d'Apache Iceberg. Le nouveau pipeline doit se connecter à chaque source, exécuter des transformations à l'aide de chaque moteur source, joindre les résultats et écrire dans Iceberg avec un effort opérationnel minimal. Quelle approche répond à ces exigences avec le moins de frais opérationnels ?

L'approche correcte minimise les frais opérationnels car Amazon Athena avec les connecteurs de requêtes fédérées permet d'interroger directement les sources de données (Redshift, Teradata, BigQuery) sans déplacer les données au préalable. Cela simplifie le pipeline en utilisant une seule interface SQL pour la lecture, la jointure et l'écriture dans Iceberg, réduisant ainsi la complexité et la maintenance. Les autres options sont moins optimales : AWS Glue nécessiterait de gérer des jobs ETL distincts et des transformations, augmentant les frais opérationnels. Amazon EMR impliquerait la gestion d'un cluster, l'écriture de code PySpark et la gestion des dépendances, ce qui est plus complexe. Amazon AppFlow est conçu pour le transfert de données SaaS et n'est pas idéal pour des transformations complexes et des jointures entre des entrepôts de données hétérogènes, et il nécessiterait une étape supplémentaire avec Athena.