Более 10 000 датчиков публикуют данные с использованием MQTT в локальный кластер Apache Kafka, который преобразует данные и сохраняет результаты в Amazon S3. Сервер Kafka недавно вышел из строя, и данные были потеряны во время восстановления. Компании требуется высокодоступная, масштабируемая архитектура AWS, чтобы избежать будущих потерь данных. Какое решение удовлетворяет этим требованиям?

Правильный ответ — использование AWS IoT Core для приема данных, маршрутизации их в Amazon Kinesis Data Firehose и преобразования с помощью AWS Lambda. Это решение обеспечивает высокую доступность и масштабируемость, поскольку AWS IoT Core разработан для обработки миллионов устройств и автоматически масштабируется. Kinesis Data Firehose надежно доставляет данные в S3, предотвращая потерю данных. Lambda позволяет выполнять бессерверные преобразования. Остальные варианты менее оптимальны: Запуск Kafka на EC2 (даже в режиме active/standby) требует ручного управления, не обеспечивает такой же уровень масштабируемости и надежности, как управляемые сервисы AWS, и не полностью исключает риск потери данных при сбоях. Миграция в Amazon MSK с NLB улучшает масштабируемость и доступность по сравнению с локальным Kafka, но все еще является управляемым сервисом Kafka, который может быть избыточным для простого приема данных IoT и требует управления брокерами. Использование AWS IoT Core для пересылки данных на EC2 с Kafka возвращает к проблемам управления EC2 и Kafka, снижая общую надежность и масштабируемость решения.