Une entreprise exécute quotidiennement un pipeline ETL implémenté sous forme de scripts Python sur une grande instance EC2 pour nettoyer, transformer, enrichir et compresser des téraoctets de données d'interaction utilisateur stockées dans S3. Le processus prend plus de 20 heures, et l'entreprise souhaite passer d'EC2 à une solution gérée et serverless avec un effort de développement minimal. Quelle approche répond à ces exigences ?

L'approche correcte est de créer un job AWS Glue, convertir les scripts en PySpark, exécuter le job Glue pour traiter les données et stocker les résultats dans S3. AWS Glue est un service ETL entièrement géré et serverless qui prend en charge PySpark, permettant de réutiliser la logique existante des scripts Python avec des modifications minimales pour tirer parti du traitement distribué. Cela réduit considérablement le temps de traitement des téraoctets de données par rapport à une seule instance EC2. Les autres options sont moins appropriées : Charger les données dans Amazon Redshift et utiliser SQL est possible, mais cela impliquerait une réécriture complète de la logique ETL Python en SQL, ce qui est contraire à l'exigence d'un effort de développement minimal. Charger les données dans Amazon DynamoDB et utiliser AWS Lambda n'est pas adapté pour le traitement de téraoctets de données. Lambda a des limites de temps d'exécution et de mémoire qui le rendent inefficace pour de grands volumes de données. DynamoDB est une base de données NoSQL clé-valeur, pas une solution ETL pour de grands volumes de données S3. Implémenter chaque script comme une fonction AWS Lambda distincte et les orchestrer avec Step Functions n'est pas idéal pour le traitement de téraoctets de données en raison des limites de Lambda et de la complexité de la gestion de l'état pour de si grands volumes.