クラウドネイティブな履歴データ処理システムを設計します。データはCSV、Avro、PDF形式で、Dataproc、BigQuery、Compute Engineからアクセスされます。日次バッチで取り込み、パフォーマンスは重要ではありませんが、可用性を最大化する必要があります。データをどのように保存すべきですか？

マルチリージョンCloud Storageバケットは、データが複数の地理的ロケーションに冗長に保存されるため、最高の可用性を提供します。これは、質問で「可用性を最大化する」という要件を満たします。Cloud Storageは、CSV、Avro、PDFなど、さまざまなデータ形式をネイティブにサポートします。Dataproc、BigQuery、Compute EngineはすべてCloud Storageバケットに直接アクセスできるため、データ処理システム全体で一貫したデータソースとして機能します。リージョンCloud Storageバケットは可用性が高いですが、マルチリージョンほどではありません。DataprocクラスタのHDFSにデータを保存すると、クラスタの可用性に依存し、BigQueryやCompute Engineからの直接アクセスが複雑になります。BigQueryにデータを保存することは可能ですが、PDFのような非構造化データ形式には適しておらず、BigQuery Connectorの使用が必要になります。