온프레미스 Kafka 토픽을 GCP에 미러링하려고 하지만, 온프레미스에 새로운 Kafka Connect 플러그인을 설치하고 싶지 않습니다. 미러링을 달성하고 GCS/BigQuery에 데이터를 쓰는 배포 패턴은 무엇입니까?

정답은 온프레미스 Kafka 클러스터가 GCE VM 인스턴스에 배포된 Kafka 클러스터로 토픽을 미러링하도록 구성하고, Dataproc 또는 Dataflow를 사용하여 GCS에 쓰는 것입니다. 이 방법은 온프레미스에 새로운 Kafka Connect 플러그인을 설치하지 않고도 Kafka 토픽을 GCP로 미러링할 수 있습니다. GCE Kafka 클러스터는 온프레미스 클러스터의 미러 역할을 하며, GCP의 다른 서비스와 통합하기 용이합니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다: Pub/Sub Kafka connector를 Sink connector로 구성하는 것은 온프레미스에 새로운 Kafka Connect 플러그인 설치를 의미하므로 문제의 요구사항과 맞지 않습니다. Pub/Sub를 Source connector로 구성하는 것은 온프레미스 Kafka에서 Pub/Sub로 데이터를 보내는 데 적합하지 않으며, 미러링 목적에도 부합하지 않습니다. Pub/Sub를 Sink connector로 구성하는 것은 온프레미스 Kafka에서 Pub/Sub로 데이터를 보내는 데 사용될 수 있지만, 온프레미스에 Kafka Connect 플러그인을 설치해야 합니다.