Un conjunto de trabajos de AWS Glue (orquestados por un flujo de trabajo de AWS Glue) produce datos utilizados por Amazon SageMaker Pipelines. Los trabajos de Glue pueden ejecutarse según un cronograma o iniciarse manualmente. Debe integrar estos trabajos de Glue en los pipelines de SageMaker con la menor sobrecarga operativa. ¿Qué enfoque satisface esto?

La opción correcta es usar pasos de Callback en SageMaker Pipelines. Esta característica permite que un pipeline de SageMaker pause su ejecución y espere una señal externa antes de continuar. Al activar el flujo de trabajo de AWS Glue desde el paso de Callback, el pipeline de SageMaker puede esperar de forma asíncrona a que los trabajos de Glue finalicen, lo que minimiza la sobrecarga operativa al no requerir un orquestador externo. Las otras opciones son menos óptimas: Usar AWS Step Functions para orquestar ambos introduce una capa adicional de complejidad y sobrecarga operativa. Los pasos de procesamiento de SageMaker Pipelines están diseñados para ejecutar código de procesamiento de datos dentro de SageMaker, no para invocar directamente trabajos de AWS Glue como una dependencia. Amazon EventBridge puede invocar servicios, pero para una orquestación secuencial y con espera de finalización, requeriría una lógica adicional que los pasos de Callback manejan de forma nativa dentro de SageMaker Pipelines.