データサイエンティストがオンプレミスのETLプロセスをAWSに移行する必要があります。現在のプロセスはスケジュールに基づいて実行され、PySparkを使用して複数の大規模なデータソースをマージおよびフォーマットし、ダウンストリームジョブ用に統合された1つの出力を作成します。クラウドソリューションの要件は、複数のソースを結合し、既存のPySparkコードを再利用し、既存のスケジュールで実行し、管理するサーバーの数を最小限に抑えることです。これらの要件を満たすアーキテクチャはどれですか？

正解は、既存のPySparkコードを再利用し、スケジュール実行とサーバー管理の最小化という要件を最も効率的に満たすため、AWS Glue ETLジョブを作成するオプションです。AWS GlueはサーバーレスのETLサービスであり、PySparkスクリプトを直接実行でき、Glueトリガーを使用して既存のスケジュールに合わせることができます。 他の選択肢が不正解である理由は以下の通りです。 永続的なAmazon EMRクラスターは、サーバー管理の最小化という要件に反します。 AWS LambdaでPySparkロジックを再実装することは、既存のコードの再利用という要件に反し、Lambdaの実行時間とメモリの制限にも直面する可能性があります。 Amazon Kinesis Data Analyticsはストリーミングデータ処理に特化しており、バッチ処理のPySpark ETLには適していません。