ある企業が複数のML予測モデルを作成する予定です。トレーニングデータはAmazon S3に保存されており、データセット全体は5 TBを超え、CSV、JSON、Parquet、およびテキストファイルが含まれています。データは、複雑な変換と一部のNLP作業を含むいくつかの連続した処理ステップを経る必要があり、これには数時間かかる場合があります。プロセス全体を自動化する必要があります。これらのニーズを満たすソリューションはどれですか？

Amazon SageMaker Pipelinesは、MLワークフローの構築、管理、オーケストレーションを可能にするサービスです。複数の処理ステップを定義し、それぞれにカスタムスクリプトやSageMaker Processingジョブを使用できます。5TBを超える多様なデータ形式（CSV、JSON、Parquet、テキスト）に対応し、複雑な変換やNLP作業を含む数時間の処理を自動化するのに適しています。Amazon EventBridgeと組み合わせることで、パイプラインのトリガーやスケジューリングが可能になり、エンドツーエンドの自動化が実現します。 SageMaker Data Wranglerはデータ準備に特化していますが、連続した複雑な処理ステップやNLP作業のオーケストレーションには不向きです。SageMakerノートブックはインタラクティブな開発には適していますが、自動化された本番ワークフローには向きません。AWS Lambdaは短い処理時間（最大15分）に制限されるため、数時間かかる処理には適していません。