Una empresa ejecuta múltiples flujos de trabajo ETL que extraen datos de bases de datos operacionales a un data lake en S3. Estos flujos de trabajo utilizan AWS Glue y Amazon EMR. La empresa desea añadir orquestación automatizada minimizando el esfuerzo manual y la sobrecarga operativa. ¿Qué solución cumple estos objetivos con la MENOR sobrecarga operativa?

AWS Step Functions es la solución con menor sobrecarga operativa porque permite orquestar flujos de trabajo complejos que involucran servicios como AWS Glue y Amazon EMR mediante máquinas de estado visuales. Esto minimiza el esfuerzo manual al automatizar la secuencia, el manejo de errores y la reintentos, sin necesidad de gestionar servidores subyacentes. AWS Glue Workflows es una buena opción para flujos de trabajo basados exclusivamente en Glue, pero Step Functions ofrece una orquestación más amplia y flexible para múltiples servicios. AWS Lambda functions son útiles para tareas sin servidor de corta duración, pero orquestar flujos ETL complejos solo con Lambda requeriría un esfuerzo de desarrollo y mantenimiento considerable. Amazon MWAA (Apache Airflow) es una herramienta potente para orquestación, pero implica una mayor sobrecarga operativa al requerir la gestión de la infraestructura de Airflow, incluso si es "gestionada" por AWS.