あるレポートシステムは、毎日数百の.csvファイルをAmazon S3バケットに配信します。会社はこれらのファイルをApache Parquetに変換し、結果を変換済みデータバケットに保存する必要があります。最小限の開発作業で要件を満たすソリューションはどれですか？

AWS Glueは、サーバーレスなデータ統合サービスであり、ETLジョブの作成、実行、監視を容易にします。GlueクローラーはS3バケット内のCSVファイルのスキーマを自動的に検出し、Glue Data Catalogにメタデータを登録します。その後、Glue ETLジョブは、検出されたスキーマに基づいてCSVファイルをApache Parquet形式に変換し、指定されたS3バケットに保存できます。これにより、最小限の開発作業で要件を満たすことができます。 EMRは、大量のデータを処理するための強力なフレームワークですが、Sparkアプリケーションの開発とクラスターの管理が必要となり、開発作業が増えます。AWS Batchは、バッチ処理に適していますが、ETL処理のオーケストレーションやスキーマ検出の機能はGlueほど統合されていません。Lambda関数は個々のファイル変換には適していますが、数百のファイルを効率的に処理し、ETLパイプライン全体を管理するには、より多くの開発とオーケストレーションが必要になります。