Un ingeniero de ML debe fusionar y transformar datos semanales de dos fuentes: archivos CSV grandes en S3 (cada uno con millones de filas) y un clúster de Amazon Aurora. La salida fusionada debe escribirse en otro bucket de S3. ¿Qué opción proporciona esto con la MENOR sobrecarga operativa?

La opción correcta es programar un trabajo semanal de AWS Glue. AWS Glue es un servicio de ETL (Extraer, Transformar, Cargar) sin servidor que se integra nativamente con S3 y Aurora, y utiliza Apache Spark para el procesamiento de grandes volúmenes de datos. Sus DynamicFrames simplifican las transformaciones de datos, y al ser sin servidor, minimiza la sobrecarga operativa de aprovisionamiento y gestión de infraestructura. Aprovisionar un clúster transitorio de Amazon EMR cada semana implica la gestión manual o programática del clúster, lo que aumenta la sobrecarga operativa. Crear una función de AWS Lambda para ejecutar código Apache Spark no es viable para millones de filas, ya que Lambda tiene límites de tiempo de ejecución y memoria que Spark excede rápidamente. Ejecutar un trabajo de AWS Batch en instancias EC2 también requiere la gestión de las instancias y el entorno Spark, lo que añade complejidad operativa.