Você tem um cluster Apache Kafka on-prem conectado via Dedicated Interconnect. Você precisa de uma ingestão de streaming de alta taxa de transferência e baixa latência no BigQuery. Qual arquitetura minimiza a latência?

A opção correta é usar o Dataflow para escrever um pipeline de conector que leia diretamente do Kafka e grave no BigQuery. Esta abordagem minimiza a latência porque o Dataflow pode se conectar diretamente ao cluster Kafka on-premise via Dedicated Interconnect, eliminando saltos intermediários. O Dataflow é otimizado para processamento de streaming de alta taxa de transferência e baixa latência, tornando-o ideal para este caso de uso. As outras opções introduzem etapas adicionais que aumentam a latência. Configurar o Kafka Connect para fazer a ponte para o Pub/Sub e, em seguida, usar o Dataflow para ler do Pub/Sub adiciona uma camada extra de processamento e latência de rede entre o Kafka e o BigQuery. Implantar um host proxy na VPC do Google Cloud para se conectar ao Kafka também adiciona um ponto de salto e complexidade desnecessários, aumentando a latência.