Un ingegnere ML deve unire e trasformare i dati settimanali provenienti da due fonti: file CSV di grandi dimensioni in S3 (ciascuno con milioni di righe) e un cluster Amazon Aurora. L'output unito deve essere scritto in un altro bucket S3. Quale opzione fornisce questo con il MINOR overhead operativo?

AWS Glue è un servizio di integrazione dati serverless che gestisce automaticamente il provisioning, la configurazione e lo scaling delle risorse, riducendo al minimo l'overhead operativo. Utilizza Apache Spark per l'elaborazione distribuita e i DynamicFrame per manipolare i dati in modo efficiente, rendendolo ideale per unire e trasformare grandi volumi di dati da S3 e Aurora. Provisionare un cluster Amazon EMR transitorio richiede la gestione del cluster, aumentando l'overhead. AWS Lambda ha limiti di tempo e memoria che lo rendono inadatto per l'elaborazione di milioni di righe. AWS Batch su istanze EC2 richiede la gestione delle istanze e la configurazione dell'ambiente Spark, aumentando la complessità operativa rispetto a Glue.