Zestaw zadań AWS Glue (orchestrated by an AWS Glue workflow) generuje dane używane przez Amazon SageMaker Pipelines. Zadania Glue mogą być uruchamiane zgodnie z harmonogramem lub ręcznie. Musisz zintegrować te zadania Glue z potokami SageMaker przy najmniejszym nakładzie operacyjnym. Które podejście spełnia ten wymóg?

Użycie kroków zwrotnych (Callback steps) w SageMaker Pipelines jest optymalnym rozwiązaniem, ponieważ pozwala na bezpośrednie wywołanie zewnętrznych procesów, takich jak AWS Glue workflow, i wstrzymanie potoku SageMaker do momentu ich zakończenia. Dzięki temu SageMaker Pipelines staje się centralnym punktem orkiestracji, minimalizując złożoność operacyjną. Inne opcje są mniej efektywne: AWS Step Functions mogłoby orkiestrować oba procesy, ale wprowadza dodatkową warstwę zarządzania i zwiększa nakład operacyjny, zamiast wykorzystać wbudowane możliwości SageMaker Pipelines. Processing steps w SageMaker Pipelines służą do uruchamiania zadań przetwarzania danych w ramach SageMaker, a nie do bezpośredniego wywoływania i oczekiwania na zakończenie zewnętrznych zadań Glue. Odwoływanie się do ARN zadań Glue w ten sposób nie jest standardowym ani efektywnym mechanizmem integracji. Amazon EventBridge jest doskonałym narzędziem do reagowania na zdarzenia i wywoływania usług, ale nie zapewnia wbudowanego mechanizmu do wstrzymywania potoku SageMaker i oczekiwania na zakończenie zewnętrznego procesu, co wymagałoby dodatkowej logiki i zwiększyłoby złożoność.