AWS Glueワークフローによってオーケストレーションされる一連のAWS Glueジョブは、Amazon SageMaker Pipelinesで使用されるデータを生成します。Glueジョブはスケジュールに基づいて実行することも、手動で開始することもできます。これらのGlueジョブを、運用上のオーバーヘッドを最小限に抑えながらSageMakerパイプラインに統合する必要があります。この要件を満たすアプローチはどれですか？

Callbackステップは、外部システム（この場合はAWS Glueワークフロー）の完了を待機し、その結果に基づいてパイプラインの実行を続行するために設計されています。これにより、SageMakerパイプラインはGlueジョブの実行をトリガーし、Glueジョブが終了するまで自動的に一時停止するため、運用上のオーバーヘッドを最小限に抑えつつ、データ生成とモデルトレーニングの依存関係を効果的に管理できます。 AWS Step Functionsはオーケストレーションに強力ですが、SageMaker Pipelines自体がオーケストレーション機能を提供しているため、Glueジョブのトリガーと待機に特化したCallbackステップの方がシンプルで効率的です。SageMaker Pipelines内で処理ステップを使用してもGlueジョブを直接参照することはできません。Amazon EventBridgeはイベント駆動型アーキテクチャに適していますが、Glueジョブの完了を待機してパイプラインを一時停止する機能は提供しません。