あるMLエンジニアが、2つのソースからの週次データをマージおよび変換する必要があります。ソースは、S3にある大規模なCSVファイル（それぞれ数百万行）とAmazon Auroraクラスターです。マージされた出力は、別のS3バケットに書き込む必要があります。運用上のオーバーヘッドが最も少ないのは、次のどのオプションですか？

AWS Glueは、大規模なデータ統合と変換（ETL）ジョブに最適なサーバーレスサービスです。Apache Sparkエンジンを内蔵しており、数百万行のCSVファイルとAuroraからのデータを効率的に処理できます。DynamicFrameはGlue独自のデータ構造で、スキーマの推論と変更を容易にし、ETLプロセスを簡素化します。週次でジョブをスケジュールできるため、運用上のオーバーヘッドが最小限に抑えられます。 一時的なAmazon EMRクラスターは、プロビジョニングと管理が必要であり、オーバーヘッドが増加します。AWS Lambdaは短時間の処理に適しており、大規模なSparkジョブの実行には不向きです。EC2インスタンスでのAWS Batchジョブは、EC2インスタンスの管理が必要であり、Glueと比較して運用上のオーバーヘッドが大きくなります。