Un ingeniero de datos construyó un pipeline ETL de AWS Glue y debe rastrear una tabla en Microsoft SQL Server, luego escribir la salida del rastreo en S3 y orquestar el pipeline. ¿Qué característica de AWS proporciona esta capacidad al menor costo?

AWS Glue workflows es la opción más rentable porque integra directamente el rastreo de datos (crawlers), los trabajos ETL (jobs) y los puntos finales de desarrollo (development endpoints) de Glue en un único flujo de trabajo orquestado. Esto permite definir dependencias y programar la ejecución de todo el pipeline de forma nativa dentro de Glue, minimizando los costos operativos y de desarrollo. AWS Step Functions podría orquestar el pipeline, pero implicaría un costo adicional por cada transición de estado y requeriría integrar Glue como un servicio externo. AWS Glue Studio es una interfaz gráfica para crear y gestionar trabajos de Glue, no un orquestador de pipelines completo. Amazon MWAA es una solución de orquestación potente basada en Apache Airflow, pero es significativamente más costosa y compleja de gestionar para un pipeline que ya se basa en Glue.