データサイエンティストがAmazon S3に20 TBのCSVデータを持っており、最小限の労力でApache Parquetに変換する必要があります。この変換を実行する最も簡単な方法は何ですか？

正解は、変換スクリプトを作成し、AWS Glueジョブとして実行してCSVを読み込み、Parquet出力として書き込むことです。AWS Glueは、大規模なデータ変換に特化したフルマネージドなETLサービスです。20TBという大量のCSVデータをParquetに変換する場合、Glueジョブはスケーラブルな処理能力を提供し、サーバーレスであるためインフラ管理の労力を最小限に抑えられます。 AWS Glueクローラーはメタデータ検出ツールであり、データ変換は行いません。Amazon EMRクラスターもデータ変換に利用できますが、クラスターのプロビジョニングと管理が必要となり、AWS Glueジョブと比較して「最小限の労力」という要件に合致しません。Amazon SageMakerノートブックはインタラクティブな開発環境ですが、20TBもの大規模データ変換を直接実行するにはリソースが不足し、スケーラビリティも限定的です。