MLエンジニアがAmazon S3に保存されている複雑な構造のデータを使用して、Amazon SageMaker Canvasでモデルをトレーニングします。そのデータの事前処理時間を最小限に抑えるファイル形式はどれですか？

Apache Parquetは、列指向のデータストレージ形式であり、分析クエリのパフォーマンスを最適化するように設計されています。SageMaker Canvasのようなツールで複雑な構造のデータを扱う場合、必要な列のみを読み込むことができるため、データ処理時間が大幅に短縮されます。Snappyで圧縮されたCSVファイルやgzipで圧縮されたJSONファイルは行指向であり、クエリ時にすべてのデータを読み込む必要があるため、Parquetよりも効率が劣ります。JSONLも行指向であり、Parquetのような列指向の最適化はありません。したがって、事前処理時間を最小限に抑えるにはApache Parquetが最適です。