MLエンジニアは、中央のS3バケットに保存されている数千の既存のCSVファイルと新しいCSVアップロードを処理する必要があります。すべてのCSVは同じ列レイアウトを共有し、クエリする必要があるトランザクション日付列を含んでいます。運用上のオーバーヘッドが最も少ないソリューションはどれですか？

このソリューションは、既存のS3データと新しいアップロードの両方を処理するための運用オーバーヘッドが最も少ないため、正しい選択肢です。Amazon AthenaはS3上のデータに対して直接クエリを実行でき、CREATE TABLE AS SELECT (CTAS) を使用すると、トランザクション日付でパーティション化またはフィルタリングされた最適化されたテーブルを作成できます。これにより、クエリのパフォーマンスが向上し、スキャンされるデータ量が削減されます。 他の選択肢は、追加のデータ移動、新しいS3バケットの管理、またはより複雑なコンピューティングサービス（AWS Glue、Lambda）の導入が必要となるため、運用オーバーヘッドが増加します。S3 Object Lambdaはデータ変換には適していますが、大規模なクエリには最適ではありません。Kinesis Data Firehoseはストリーミングデータ収集には適していますが、既存のファイルと新しいアップロードの両方に対するクエリには過剰なソリューションです。