Un'azienda ha aumentato notevolmente il volume di file CSV archiviati in un bucket Amazon S3. Gli script e le query di trasformazione dei dati sono diventati molto più lenti. Un ingegnere ML deve implementare una soluzione che ottimizzi i dati per le prestazioni delle query con il MINOR overhead operativo. Quale opzione soddisfa questo requisito?

La conversione dei file CSV in formato Apache Parquet tramite un job AWS Glue ETL è la soluzione più efficace. Parquet è un formato di archiviazione colonnare ottimizzato per le query analitiche, che riduce significativamente la quantità di dati da leggere e migliora le prestazioni delle query. AWS Glue è un servizio serverless, minimizzando l'overhead operativo. Suddividere i file CSV in oggetti più piccoli (opzione 1) potrebbe non risolvere il problema di efficienza delle query, poiché il formato rimane lo stesso. Eliminare colonne di tipo stringa (opzione 2) non è una soluzione generale per l'ottimizzazione delle query e potrebbe comportare la perdita di dati preziosi. L'utilizzo di un cluster Amazon EMR (opzione 4) è una soluzione potente, ma introduce un overhead operativo maggiore rispetto a un job AWS Glue serverless.