Un singolo cluster Kafka on-prem in us-east acquisisce messaggi da dispositivi IoT a livello globale. La scarsa connettività causa il batching edge e picchi di acquisizione, generando costi e problemi di gestione. Quale architettura cloud-native consigliata da Google dovresti adottare?

L'architettura proposta con un gateway IoT e Cloud Pub/Sub è la soluzione più efficace. I gateway IoT gestiscono la connettività intermittente e il batching dei dati dai dispositivi edge, riducendo i picchi di acquisizione. Cloud Pub/Sub offre un servizio di messaggistica globale, scalabile e gestito, che desacopla i produttori dai consumatori, eliminando la necessità di gestire un cluster Kafka on-premise. Cloud Dataflow è ideale per l'elaborazione scalabile e flessibile dei messaggi da Pub/Sub. Le altre opzioni sono meno adatte: Edge TPU sono acceleratori hardware per inferenza AI, non soluzioni per l'archiviazione e la trasmissione di messaggi IoT. Cloud Dataflow connesso direttamente al cluster Kafka on-prem non risolve i problemi di connettività edge o la gestione del cluster Kafka. Un cluster Kafka virtualizzato su Compute Engine non risolve i problemi di gestione o i costi di un cluster Kafka, né la connettività globale da un'unica regione.