Одиночный локальный кластер Kafka в регионе us-east принимает сообщения от IoT-устройств по всему миру. Плохое сетевое соединение вызывает пакетную обработку на периферии и всплески приема данных, что приводит к увеличению затрат и проблемам с управлением. Какую облачную архитектуру, рекомендованную Google, следует использовать?

Рекомендуемая Google Cloud архитектура для этой проблемы — использовать шлюз IoT, подключенный к Cloud Pub/Sub, с Cloud Dataflow для чтения и обработки сообщений. Шлюз IoT обеспечивает безопасное и эффективное подключение устройств, а Cloud Pub/Sub — это глобально масштабируемая система обмена сообщениями, которая может обрабатывать всплески данных, устраняя проблемы с локальным кластером Kafka. Cloud Dataflow затем может эластично масштабироваться для обработки сообщений из Pub/Sub, снижая затраты и улучшая управление. Edge TPU не являются устройствами для хранения и передачи сообщений. Cloud Dataflow, подключенный напрямую к Kafka, не решает проблему глобального приема и всплесков. Виртуализированный кластер Kafka в одном регионе с Cloud Load Balancing по-прежнему будет страдать от проблем с задержкой и масштабированием для глобальных IoT-устройств.