Tiene un clúster de Apache Kafka on-premise conectado a través de Dedicated Interconnect. Necesita una ingesta de streaming de alto rendimiento y baja latencia en BigQuery. ¿Qué arquitectura minimiza la latencia?

La opción correcta minimiza la latencia al establecer una conexión directa entre Kafka y BigQuery a través de Dataflow. Dado que Kafka está conectado a Google Cloud mediante Dedicated Interconnect, Dataflow puede acceder directamente a los brokers de Kafka en la red privada, eliminando saltos intermedios. Las opciones que involucran Pub/Sub introducen una capa adicional de mensajería, lo que añade latencia. Aunque Pub/Sub es un servicio de baja latencia, cualquier paso adicional en la cadena de procesamiento aumentará la latencia total. La opción de un host proxy también añade un punto de falla y un salto de red innecesario, incrementando la latencia y la complejidad. Un pipeline directo de Dataflow a Kafka es la solución más eficiente para baja latencia en este escenario.