Un cluster Kafka sur site unique dans la région us-east ingère des messages d'appareils IoT à l'échelle mondiale. Une mauvaise connectivité entraîne un traitement par lots en périphérie et des pics d'ingestion, ce qui génère des coûts et des problèmes de gestion. Quelle architecture cloud-native recommandée par Google devriez-vous adopter ?

La solution recommandée par Google pour l'ingestion de données IoT à l'échelle mondiale est une passerelle IoT (comme Google Cloud IoT Core, bien que le service soit en fin de vie, le concept reste valide pour des solutions alternatives) connectée à Cloud Pub/Sub. Cloud Pub/Sub est un service de messagerie globalement distribué, hautement disponible et évolutif, idéal pour gérer des pics d'ingestion et découpler les producteurs des consommateurs. Cloud Dataflow est ensuite utilisé pour traiter les messages de Pub/Sub de manière évolutive et sans serveur. Les TPU Edge sont des accélérateurs matériels pour l'inférence de machine learning en périphérie, non adaptés pour le stockage et la transmission de messages IoT. Cloud Dataflow connecté directement à Kafka sur site ne résout pas les problèmes de connectivité mondiale ni les pics d'ingestion à la source. Un cluster Kafka virtualisé sur Compute Engine dans une seule région ne résout pas les problèmes de latence et de fiabilité pour les appareils IoT mondiaux, et Cloud Load Balancing ne compense pas les limites d'un point d'ingestion unique.