AWS Glue 작업(AWS Glue 워크플로에 의해 오케스트레이션됨) 세트가 Amazon SageMaker Pipelines에서 사용되는 데이터를 생성합니다. Glue 작업은 예약에 따라 실행되거나 수동으로 시작될 수 있습니다. 이러한 Glue 작업을 최소한의 운영 오버헤드로 SageMaker 파이프라인에 통합해야 합니다. 어떤 접근 방식이 이를 충족합니까?

SageMaker Pipelines의 콜백 단계는 외부 시스템(이 경우 AWS Glue 워크플로)이 작업을 완료할 때까지 파이프라인 실행을 일시 중지하는 데 이상적입니다. Glue 작업이 완료되면 콜백 토큰을 사용하여 파이프라인을 재개할 수 있습니다. 이 방식은 Glue 작업의 비동기적 특성을 처리하고 최소한의 운영 오버헤드로 SageMaker 파이프라인에 통합합니다. AWS Step Functions는 복잡한 워크플로 오케스트레이션에 적합하지만, 이 특정 시나리오에서는 Glue 작업을 SageMaker 파이프라인에 통합하는 데 필요한 것보다 더 많은 오버헤드를 추가할 수 있습니다. SageMaker Pipelines 내에서 처리 단계를 사용하는 것은 SageMaker 처리 작업에 적합하며 Glue 작업의 ARN을 직접 참조하여 Glue 작업을 실행하는 메커니즘을 제공하지 않습니다. Amazon EventBridge는 이벤트 기반 아키텍처에 유용하지만, 파이프라인 실행을 일시 중지하고 Glue 작업 완료 시 재개하는 직접적인 메커니즘을 제공하지 않습니다.