您有一個透過 Dedicated Interconnect 連線的內部部署 Apache Kafka 叢集。您需要將高吞吐量、低延遲的串流資料擷取到 BigQuery 中。哪種架構能將延遲降到最低？

直接使用 Dataflow 從 Kafka 讀取並寫入 BigQuery 能將延遲降到最低，因為它移除了中間層，減少了資料傳輸和處理的跳數。Dataflow 能夠高效地處理高吞吐量資料，並提供低延遲的串流處理能力。 其他選項引入了額外的服務或步驟，增加了潛在的延遲： 將 Kafka 橋接到 Pub/Sub，無論是使用 Dataflow 範本還是自訂管道，都會在 Kafka 和 BigQuery 之間增加 Pub/Sub 作為一個額外的訊息佇列層，這會增加端到端延遲。 部署代理主機來連接 Kafka 也會增加網路跳數和處理開銷，從而增加延遲。