Eine Reihe von AWS Glue-Jobs (orchestriert durch einen AWS Glue-Workflow) erzeugen Daten, die von Amazon SageMaker Pipelines verwendet werden. Die Glue-Jobs können nach einem Zeitplan ausgeführt oder manuell gestartet werden. Sie müssen diese Glue-Jobs mit dem geringsten Betriebsaufwand in die SageMaker-Pipelines integrieren. Welcher Ansatz erfüllt dies?

Die Verwendung von Callback-Schritten in SageMaker Pipelines ist die effizienteste Methode, da sie die native Integration und Orchestrierung von externen Prozessen wie AWS Glue-Workflows ermöglicht. Der Callback-Schritt löst den Glue-Workflow aus und pausiert die SageMaker Pipeline, bis der Glue-Workflow ein Signal zurücksendet, dass er abgeschlossen ist. Dies minimiert den Betriebsaufwand, da keine separate Orchestrierungsebene erforderlich ist. AWS Step Functions wäre eine separate Orchestrierungsebene, die zusätzlichen Betriebsaufwand bedeutet. Verarbeitungsschritte in SageMaker Pipelines sind für Datenverarbeitungsaufgaben innerhalb von SageMaker konzipiert und können nicht direkt AWS Glue-Jobs ausführen. Amazon EventBridge kann zwar zur Orchestrierung verwendet werden, erfordert jedoch eine komplexere Konfiguration, um den Abschluss der Glue-Jobs zu überwachen und die SageMaker Pipeline fortzusetzen, im Vergleich zu den integrierten Callback-Mechanismen.