您需要一個管道將時間序列交易資料複製到 BigQuery 進行分析。資料集初始大小為 1.5 PB，每天增長 3 TB；每小時有數千筆交易會更新狀態。資料結構嚴謹，用於機器學習。為了最大限度地提高效能和可用性，您會採用哪兩種策略？

對於時間序列交易資料，盡可能地將資料去正規化可以減少查詢時的 JOIN 操作，從而顯著提高 BigQuery 的查詢效能。BigQuery 擅長處理寬表和巢狀/重複欄位。由於資料集龐大且持續增長，減少 JOIN 對於效能至關重要。 開發一個資料管道，將狀態更新附加到 BigQuery，而不是進行更新，是為了利用 BigQuery 的寫入優化。BigQuery 對於追加操作（append）的效能遠優於更新操作（UPDATE）。對於每小時數千筆的狀態更新，頻繁的 UPDATE 操作會導致效能瓶頸和成本增加。將更新視為新的事件記錄追加，可以保持高效的寫入速度。 保留資料的結構（正規化）會增加查詢複雜度，不適合 BigQuery 的分析工作負載。使用 BigQuery UPDATE 進一步減少資料集大小是錯誤的，UPDATE 會增加成本和降低效能，且與減少資料集大小無直接關係。將每日快照儲存為 Avro 檔案並使用外部資料來源查詢，會因為外部資料來源的效能限制而無法達到最佳效能，特別是對於如此龐大的資料集。