さまざまな形式の非構造化ファイルが大量にあり、それらをDataflow ETLジョブでアクセスできるようにする必要があります。データをどこに配置すべきですか？

非構造化ファイルはリレーショナルデータベースであるBigQuery、Cloud SQL、Cloud Spannerには直接保存できません。これらのサービスは構造化データや半構造化データに適しています。Dataflow ETLジョブで非構造化ファイルにアクセスする場合、それらをオブジェクトストレージサービスに保存するのが最も適切です。Cloud Storageは、あらゆる種類の非構造化データを保存できるスケーラブルで耐久性の高いオブジェクトストレージサービスであり、Dataflowとの統合も容易です。gsutilコマンドラインツールは、ファイルをCloud Storageにアップロードするための標準的な方法です。