Набор заданий AWS Glue (оркестрируемых рабочим процессом AWS Glue) производит данные, используемые Amazon SageMaker Pipelines. Задания Glue могут запускаться по расписанию или вручную. Вы должны интегрировать эти задания Glue в конвейеры SageMaker с наименьшими операционными издержками. Какой подход удовлетворяет этому требованию?

Callback steps в SageMaker Pipelines позволяют интегрировать внешние процессы, такие как задания AWS Glue, в конвейер SageMaker. Конвейер SageMaker запускает задание Glue и приостанавливается, ожидая сигнала обратного вызова от Glue о завершении работы. Это обеспечивает бесшовную интеграцию и синхронизацию без необходимости постоянного опроса или сложной логики оркестрации, минимизируя операционные издержки. Использование AWS Step Functions добавит дополнительный уровень оркестрации, увеличивая сложность. Шаги обработки в SageMaker Pipelines предназначены для обработки данных с помощью SageMaker Processing Jobs, а не для прямого вызова внешних сервисов, таких как AWS Glue. Amazon EventBridge может запускать процессы, но не обеспечивает встроенной синхронизации и ожидания завершения, как Callback steps.