Je wilt on-prem Kafka-topics spiegelen naar GCP zonder nieuwe Kafka Connect-plugins on-prem te installeren. Welk implementatiepatroon realiseert mirroring en schrijft gegevens naar GCS/BigQuery?

De correcte optie beschrijft het opzetten van een Kafka-cluster in GCP (op GCE VM Instances) en het gebruik van de ingebouwde mirroring-functionaliteit van Kafka om topics van on-prem naar dit GCP-cluster te repliceren. Dit voldoet aan de vereiste om geen nieuwe Kafka Connect-plugins on-prem te installeren. Zodra de data in het GCP Kafka-cluster is, kan Dataproc of Dataflow worden gebruikt om de data te consumeren en naar GCS of BigQuery te schrijven. De andere opties zijn incorrect omdat: "Implementeer een Kafka-cluster op GCE VM Instances met de Pub/Sub Kafka connector geconfigureerd als een Sink connector. Gebruik een Dataproc-cluster of Dataflow-taak om van Kafka te lezen en naar GCS te schrijven." Dit introduceert de Pub/Sub Kafka connector, wat niet nodig is voor mirroring en de complexiteit onnodig verhoogt. De twee opties die de Pub/Sub Kafka connector on-prem implementeren, schenden de voorwaarde om geen nieuwe Kafka Connect-plugins on-prem te installeren.