Um conjunto de jobs do AWS Glue (orquestrados por um workflow do AWS Glue) produz dados usados pelos Amazon SageMaker Pipelines. Os jobs do Glue podem ser executados em um agendamento ou iniciados manualmente. Você deve integrar esses jobs do Glue aos pipelines do SageMaker com o menor overhead operacional. Qual abordagem satisfaz isso?

A opção correta é usar etapas de Callback nos SageMaker Pipelines porque elas permitem que o pipeline pause e aguarde a conclusão de uma tarefa externa, como um workflow do AWS Glue, antes de prosseguir. Isso integra diretamente os jobs do Glue ao fluxo do pipeline do SageMaker com baixo overhead operacional, pois o SageMaker gerencia a espera e a continuação. As outras opções são menos ideais: Usar AWS Step Functions para orquestrar ambos adicionaria uma camada de orquestração externa, aumentando a complexidade e o overhead. Usar etapas de processamento referenciando ARNs de jobs do Glue não é uma funcionalidade nativa para invocar e aguardar jobs do Glue diretamente dentro de uma etapa de processamento do SageMaker. Usar o Amazon EventBridge para invocar ambos exigiria lógica adicional para coordenar a sequência e o status de conclusão, o que é mais complexo do que a funcionalidade de callback integrada do SageMaker Pipelines.