Dedicated Interconnect를 통해 연결된 온프레미스 Apache Kafka 클러스터가 있습니다. BigQuery로 고처리량, 저지연 스트리밍 수집이 필요합니다. 어떤 아키텍처가 지연 시간을 최소화할까요?

Dataflow를 사용하여 Kafka에서 직접 읽고 BigQuery에 쓰는 커넥터 파이프라인을 작성하는 것이 가장 낮은 지연 시간을 제공합니다. Dataflow는 Apache Beam을 기반으로 하며, Kafka I/O 커넥터를 통해 Kafka에서 직접 데이터를 스트리밍하고 BigQuery I/O 커넥터를 사용하여 BigQuery에 직접 쓸 수 있습니다. 이는 중간 서비스 없이 직접적인 데이터 흐름을 생성하여 지연 시간을 최소화합니다. Kafka Connect를 Pub/Sub에 연결하고 Dataflow를 사용하는 옵션들은 Pub/Sub이라는 추가적인 중간 계층을 도입하므로 지연 시간이 증가합니다. 프록시 호스트를 사용하는 옵션은 추가적인 네트워크 홉과 컴퓨팅 오버헤드를 발생시켜 지연 시간을 늘릴 수 있습니다.