正確答案: 重新設計擷取方式,使用 gsutil 平行上傳檔案到 Cloud Storage 儲存桶, 將約 1,000 個檔案打包成 TAR 壓縮檔,傳輸 TAR 檔,然後在雲端解壓縮.
為什麼這是答案
gsutil 的平行上傳功能可以有效利用頻寬,減少每個小檔案的傳輸開銷,顯著提升傳輸效率。將小檔案打包成 TAR 壓縮檔可以減少檔案數量,降低每次傳輸的協議開銷,同時壓縮也能減少資料量。這兩種方法都能有效應對大量小檔案、頻寬限制和延遲問題。壓縮每個檔案會增加處理開銷,對於 <4KB 的小檔案效益不大。增加頻寬是治標不治本,且成本較高,並未解決小檔案傳輸效率低的問題。Storage Transfer Service 適用於大量資料的批次傳輸,但通常用於從其他雲端或大型儲存系統遷移,對於每小時產生的大量小檔案且需要即時傳輸的場景不夠靈活。