Un ingeniero de datos debe orquestar un pipeline que incluya una única función AWS Lambda seguida de un trabajo de AWS Glue y debe usar servicios administrados de AWS. ¿Qué enfoque logra esto con la menor sobrecarga operativa?

AWS Step Functions es la opción con menor sobrecarga operativa porque es un servicio de orquestación completamente administrado que se integra directamente con AWS Lambda y AWS Glue. Permite definir flujos de trabajo complejos como máquinas de estado, manejando reintentos, manejo de errores y monitoreo sin necesidad de administrar infraestructura subyacente. Las otras opciones son menos óptimas: Implementar Apache Airflow en EC2 o EKS introduce una sobrecarga operativa significativa, ya que requiere que el ingeniero administre la infraestructura de Airflow (servidores, bases de datos, escalado, parches). Aunque Airflow es una herramienta potente, no es la opción de "menor sobrecarga operativa" en este escenario. Un flujo de trabajo de AWS Glue está diseñado principalmente para orquestar trabajos de Glue y no tiene una integración nativa y directa para invocar funciones Lambda como un paso independiente antes de un trabajo de Glue de manera sencilla y robusta.