Un sistema di reporting consegna centinaia di file .csv a un bucket Amazon S3 ogni giorno. L'azienda deve convertire questi file in Apache Parquet e archiviare i risultati in un bucket di dati trasformati. Quale soluzione soddisferà il requisito con il MINOR sforzo di sviluppo?

La creazione di un crawler AWS Glue e un job ETL è la soluzione con il minor sforzo di sviluppo. AWS Glue è un servizio ETL serverless che gestisce automaticamente il provisioning, la configurazione e il dimensionamento delle risorse. Il crawler scopre lo schema dei file .csv, e il job ETL può essere facilmente configurato per convertire i dati in Parquet e scriverli nel bucket di destinazione. Le altre opzioni richiedono più sforzo: Amazon EMR con Apache Spark richiede la gestione di un cluster EMR e lo sviluppo di codice Spark, aumentando la complessità operativa e di sviluppo. AWS Batch richiede la creazione e la gestione di script Bash per la trasformazione, che possono essere meno efficienti e più difficili da mantenere rispetto a un job Glue. AWS Lambda è adatto per trasformazioni leggere e basate su eventi, ma la gestione di centinaia di file .csv al giorno potrebbe superare i limiti di esecuzione di Lambda o richiedere una logica di orchestrazione complessa, aumentando lo sforzo di sviluppo.