Un'applicazione inserisce centinaia di file .csv da 1 GB in un bucket Amazon S3 ogni ora. Ogni file caricato deve essere convertito nel formato Apache Parquet e scritto in un bucket S3. Quale soluzione fornisce la funzionalità richiesta con il minor overhead operativo?

La soluzione corretta sfrutta AWS Glue, un servizio ETL serverless, per la conversione dei file. AWS Glue è ottimizzato per carichi di lavoro di trasformazione dati su larga scala come questo, gestendo automaticamente il provisioning e la scalabilità delle risorse. L'integrazione con AWS Lambda, attivata da ogni evento S3 PUT, garantisce che la conversione avvenga in tempo reale e senza la necessità di gestire server. Le altre opzioni presentano svantaggi: Una funzione Lambda per scaricare e convertire file da 1 GB potrebbe superare i limiti di memoria o tempo di esecuzione di Lambda, o essere inefficiente per file di grandi dimensioni. Un job Apache Spark invocato da Lambda introduce complessità e overhead operativo nella gestione del cluster Spark. L'uso di AWS Glue e Athena con una funzione Lambda pianificata non garantisce la conversione in tempo reale per ogni file e introduce passaggi non necessari per la conversione.