あるアプリケーションが、1時間ごとに数百個の1 GBの.csvファイルをAmazon S3バケットに配置します。アップロードされた各ファイルはApache Parquet形式に変換され、S3バケットに書き込まれる必要があります。運用上のオーバーヘッドが最も少ない、必要な機能を提供するソリューションはどれですか？

AWS Glue ETLジョブは、大量のデータを異なる形式に変換するのに適しており、サーバーレスであるため運用オーバーヘッドが最小限に抑えられます。S3 PUTイベントをトリガーとしてLambda関数を呼び出し、そのLambda関数がGlue ETLジョブを開始することで、ファイルがS3にアップロードされるたびに自動的に変換処理が実行されます。 他の選択肢は、このユースケースには最適ではありません。 Lambda関数で直接1GBのファイルを処理するのは、メモリや実行時間の制限により困難な場合があります。 Apache SparkジョブはGlue ETLジョブと同様の機能を提供しますが、Sparkクラスターの管理が必要になる場合があり、運用オーバーヘッドが増加する可能性があります。 AthenaとLambdaを組み合わせる方法は、定期的なクエリ実行が必要となり、リアルタイム性に欠け、またGlue ETLジョブのような効率的な変換処理には向きません。