データエンジニアは、単一のAWS Lambda関数とそれに続く1つのAWS Glueジョブを含むパイプラインをオーケストレーションする必要があり、AWSマネージドサービスを使用する必要があります。運用上のオーバーヘッドが最も少ないのは、次のどのアプローチですか？

AWS Step Functionsは、Lambda関数とGlueジョブのような複数のAWSサービスを視覚的にワークフローとしてオーケストレーションするためのフルマネージドサービスです。これにより、運用オーバーヘッドを最小限に抑えつつ、複雑なパイプラインを簡単に構築・管理できます。 Apache AirflowをEC2インスタンスやEKSにデプロイする方法は、Airflowクラスターの管理やスケーリングが必要となり、運用オーバーヘッドが増大します。AWS GlueワークフローはGlueジョブのオーケストレーションには適していますが、Lambda関数の実行を直接オーケストレーションする機能は限定的です。Step Functionsは、これらのサービス間の連携を最も効率的かつ運用負担が少なく実現します。