Een set AWS Glue-jobs (georkestreerd door een AWS Glue-workflow) produceert gegevens die worden gebruikt door Amazon SageMaker Pipelines. De Glue-jobs kunnen volgens een schema worden uitgevoerd of handmatig worden gestart. U moet deze Glue-jobs integreren in de SageMaker-pipelines met de minste operationele overhead. Welke aanpak voldoet hieraan?

Callback steps in SageMaker Pipelines zijn ontworpen om te integreren met externe processen die asynchroon worden uitgevoerd, zoals AWS Glue-workflows. Door een Callback step te gebruiken, kan de SageMaker Pipeline een externe taak starten (zoals een Glue-workflow) en vervolgens wachten op een signaal (een 'callback token') dat aangeeft dat de externe taak is voltooid. Dit minimaliseert operationele overhead omdat de Pipeline de status van de Glue-jobs niet actief hoeft te pollen. AWS Step Functions kan zowel SageMaker Pipelines als AWS Glue-jobs orkestreren, maar dit introduceert een extra orkestratielaag, wat de operationele overhead verhoogt. Processing steps in SageMaker Pipelines zijn bedoeld voor het uitvoeren van verwerkingstaken binnen SageMaker, niet voor het direct aanroepen en wachten op externe AWS Glue-jobs. Amazon EventBridge kan worden gebruikt om gebeurtenissen te routeren en services aan te roepen, maar het biedt geen ingebouwd mechanisme om een SageMaker Pipeline te pauzeren en te hervatten op basis van de voltooiing van een externe taak, zoals een Glue-workflow, zonder extra logica.