分析のために時系列トランザクションデータをBigQueryにコピーするパイプラインが必要です。データセットの初期サイズは1.5 PBで、1日あたり3 TB増加します。数千のトランザクションが新しいステータスで1時間ごとに更新されます。データは高度に構造化されており、MLに使用されます。パフォーマンスと使いやすさを最大化するために、どの2つの戦略を採用しますか？

BigQueryはOLAP（オンライン分析処理）データベースであり、非正規化されたデータ構造はクエリパフォーマンスを最大化します。結合（JOIN）はリソースを消費するため、可能な限り非正規化することで大規模なデータセットの分析が効率的になります。また、BigQueryは更新（UPDATE）操作よりも追加（APPEND）操作に最適化されています。既存の行を更新する代わりに、新しいステータスを持つトランザクションを新しい行として追加することで、書き込みパフォーマンスが向上し、履歴データの追跡も容易になります。データの構造を維持することは、結合を多用することになり、パフォーマンスが低下します。BigQuery UPDATEは、大規模なデータセットではコストとパフォーマンスの観点から非効率的です。Cloud Storageの外部データソースは柔軟性がありますが、BigQueryのネイティブテーブルと比較してクエリパフォーマンスが劣る場合があります。