Un scientifique des données doit migrer un processus ETL sur site vers AWS. Le processus actuel s'exécute selon un calendrier et utilise PySpark pour fusionner et formater plusieurs grandes sources de données en une seule sortie consolidée pour les tâches en aval. Les exigences pour la solution cloud sont les suivantes : combiner plusieurs sources, réutiliser le code PySpark existant, s'exécuter selon le calendrier existant et minimiser le nombre de serveurs à gérer. Quelle architecture répond à ces exigences ?

La bonne réponse est de stocker les données brutes dans Amazon S3, de créer une tâche AWS Glue ETL en PySpark et de configurer un déclencheur AWS Glue. AWS Glue est un service ETL sans serveur qui prend en charge PySpark, permettant la réutilisation du code existant et l'exécution planifiée sans gestion de serveurs. Il s'intègre nativement avec S3 pour le stockage des données. Les autres options sont moins appropriées : L'utilisation d'un cluster Amazon EMR persistant implique la gestion de serveurs, ce que la question cherche à minimiser. Réimplémenter la logique PySpark dans une fonction AWS Lambda en Python standard est inefficace et ne réutilise pas le code existant. De plus, Lambda a des limites de temps d'exécution et de mémoire qui pourraient être problématiques pour de grandes sources de données. Amazon Kinesis Data Analytics est conçu pour le traitement de flux de données en temps réel avec SQL, ce qui ne correspond pas au traitement par lots PySpark existant ni à la fusion de "plusieurs grandes sources de données" qui suggèrent un traitement par lots.