為數百萬個串流結構化和非結構化資料的 IoT 感測器設計一個高可用、有彈性的資料湖管道。您應該怎麼做？

此設計要求高可用性、彈性和能處理數百萬個 IoT 感測器的串流結構化和非結構化資料。將資料串流到 Pub/Sub 是正確的第一步，因為它提供高可用性、可擴展的訊息佇列服務，非常適合處理大量串流資料。接著，使用 Dataflow 處理這些資料是理想的選擇，因為它是一個全託管、自動擴展的服務，能夠處理批次和串流資料，並支援複雜的轉換。最後，將處理後的資料傳送到 Cloud Storage，可以建立一個成本效益高、可擴展且能儲存結構化和非結構化資料的資料湖。 其他選項不符合所有要求： 將資料傳送到 BigQuery 不適合非結構化資料。 Dataflow 不是資料的入口點，而是處理服務。 Storage Transfer Service 主要用於批次資料傳輸，不適合即時串流。