Dedicated Interconnect 経由で接続されたオンプレミスの Apache Kafka クラスターがあります。BigQuery への高スループット、低レイテンシーのストリーミング取り込みが必要です。レイテンシーを最小限に抑えるアーキテクチャはどれですか？

このシナリオでは、Dedicated Interconnectを介して接続されたオンプレミスのKafkaクラスターからBigQueryへの高スループット、低レイテンシーのストリーミング取り込みが求められています。Dataflowを使用してKafkaから直接読み取り、BigQueryに書き込むコネクタパイプラインを作成する方法が最もレイテンシーを最小限に抑えられます。これは、データがKafkaから直接BigQueryに流れるため、中間サービス（Pub/Subなど）を介するオーバーヘッドがなくなるためです。 他の選択肢は、Pub/Subを介したり、プロキシを使用したりするため、追加のホップや処理レイヤーが導入され、レイテンシーが増加する可能性があります。特に、Kafka ConnectとPub/Subを組み合わせる方法は、KafkaからBigQueryへのパスに2つの追加サービスを挟むことになり、レイテンシーが増大します。