ある企業は、データレイクとしてAmazon S3を、マルチノードのAmazon Redshiftクラスターをデータウェアハウスとして使用しています。レイク内のデータファイルはソースごとに整理されており、同社は現在、各ファイルロケーションに対して個別のCOPYコマンドを発行して単一のRedshiftテーブルにロードしていますが、これは低速です。同社はコストを増やすことなく取り込みを高速化する必要があります。どうすればよいですか？

マニフェストファイルを使用すると、単一のCOPYコマンドで複数のS3ファイルパスからデータをロードできます。これにより、個別のCOPYコマンドを多数実行するよりも効率的で高速なデータ取り込みが可能になります。コストを増やすことなくパフォーマンスを向上させるという要件を満たします。 プロビジョニングされたAmazon EMRクラスターやAWS Glueジョブを使用してファイルを1つのフォルダーにコピーする方法は、追加のコンピューティングリソースとコストが発生する可能性があり、要件に反します。Amazon AuroraはOLTPデータベースであり、データウェアハウスの取り込みには適していません。