對於必須支援 ANSI SQL、壓縮和依據 Google 最佳實務進行平行載入的超大型文字檔，您應該使用哪種儲存/格式管道？

正確答案利用了 Cloud Dataflow 的強大功能，將超大型文字檔轉換為壓縮的 Avro 格式。Avro 是一種高效的二進位格式，支援模式演進和壓縮，非常適合大規模資料儲存。將這些 Avro 檔案儲存在 Cloud Storage 中，可以實現高可用性和可擴展性。透過將其作為 BigQuery 的永久外部表格公開，您可以直接使用 ANSI SQL 查詢這些資料，而無需將資料實際載入 BigQuery 的內部儲存空間，這符合平行載入和 Google 最佳實務。 其他選項的缺點： 將資料直接儲存在 BigQuery 中會產生儲存成本，並且對於超大型文字檔，先轉換為優化格式（如 Avro）再載入會更有效率。 僅將文字檔壓縮為 gzip 並直接載入 BigQuery，雖然可行，但不如 Avro 格式在查詢性能和模式管理方面優越。 將資料匯入 Cloud Bigtable 不適合需要 ANSI SQL 查詢的場景，因為 Bigtable 是一個 NoSQL 資料庫，主要用於低延遲的鍵值查詢。