Un job ETL deve elaborare file .csv giornalieri che gli utenti caricano in un bucket S3. Ogni file è più piccolo di 100 MB. Qual è l'implementazione più conveniente?

La risposta corretta è "Scrivere un job AWS Glue Python shell. Usare pandas per trasformare i dati." Per file CSV giornalieri di dimensioni inferiori a 100 MB, un job AWS Glue Python shell con la libreria pandas è la soluzione più conveniente. I job Python shell sono ideali per carichi di lavoro leggeri e non richiedono le risorse di un ambiente Spark completo, riducendo i costi. Le altre opzioni sono meno convenienti per questo caso d'uso: Un'applicazione Python personalizzata su Amazon EKS è eccessiva e costosa per un semplice job ETL di piccole dimensioni. Uno script PySpark su Amazon EMR o un job AWS Glue PySpark sono soluzioni potenti, ma sovradimensionate e più costose per file così piccoli, in quanto Spark è ottimizzato per grandi volumi di dati.