Un'azienda esegue quotidianamente una pipeline ETL implementata come script Python su una grande istanza EC2 per pulire, trasformare, arricchire e comprimere terabyte di dati di interazione utente archiviati in S3. Il processo richiede più di 20 ore e l'azienda desidera passare da EC2 a una soluzione gestita e serverless con il minimo sforzo di sviluppo. Quale approccio soddisfa questi requisiti?

L'opzione corretta è creare un job AWS Glue, convertire gli script in PySpark ed eseguire il job Glue per elaborare i dati, archiviando i risultati in S3. AWS Glue è un servizio ETL serverless e completamente gestito, ideale per elaborare grandi volumi di dati. Supporta PySpark, consentendo una facile migrazione degli script Python esistenti con modifiche minime. Questo approccio soddisfa i requisiti di una soluzione gestita, serverless e con il minimo sforzo di sviluppo. Le altre opzioni sono meno adatte: Caricare i dati in Amazon Redshift e usare SQL richiederebbe una riscrittura significativa della logica ETL da Python a SQL e Redshift è un data warehouse, non un servizio ETL serverless per l'elaborazione di terabyte di dati grezzi in S3. Usare Amazon DynamoDB e AWS Lambda non è efficiente per l'elaborazione di terabyte di dati, poiché Lambda ha limiti di tempo di esecuzione e memoria, e DynamoDB è un database NoSQL per carichi di lavoro transazionali, non per l'analisi ETL su larga scala. Implementare ogni script come funzione Lambda separata e orchestrarle con Step Functions sarebbe complesso e costoso per terabyte di dati, a causa dei limiti di Lambda e della gestione di molteplici funzioni.