Şirket içi Kafka konularını şirket içinde yeni Kafka Connect eklentileri kurmadan GCP'ye yansıtmak istiyorsunuz. Hangi dağıtım modeli yansıtmayı sağlar ve verileri GCS/BigQuery'ye yazar?

Doğru seçenek, şirket içi Kafka konularını GCP'ye yansıtmak için en uygun ve esnek yolu sunar. Şirket içi kümenizi GCE'deki bir Kafka kümesine yansıtmak (örneğin MirrorMaker ile), mevcut şirket içi altyapınıza yeni eklentiler kurma ihtiyacını ortadan kaldırır. GCE'deki Kafka kümesinden verileri okumak ve GCS/BigQuery'ye yazmak için Dataproc veya Dataflow kullanmak, büyük ölçekli ve güvenilir veri işleme yetenekleri sağlar. Diğer seçenekler ise ya Kafka Connect eklentisi kurma gereksinimini içerir (ki bu soruda istenmeyen bir durumdur), ya da Pub/Sub'ı yanlış bir şekilde Source veya Sink olarak yapılandırır, bu da doğrudan Kafka'dan GCS/BigQuery'ye veri akışını karmaşıklaştırır veya engeller. Özellikle Pub/Sub Kafka bağlayıcısının Sink olarak yapılandırılması, Kafka'dan Pub/Sub'a veri yazmak anlamına gelirken, Source olarak yapılandırılması Pub/Sub'dan Kafka'ya veri okumak anlamına gelir. Soruda istenen, Kafka'dan GCS/BigQuery'ye yansıtma ve yazmadır.