Mais de 10.000 sensores publicam dados usando MQTT para um cluster Apache Kafka on-premises que transforma os dados e armazena os resultados no Amazon S3. O servidor Kafka travou recentemente e os dados foram perdidos durante a recuperação. A empresa precisa de um design AWS altamente disponível e escalável para evitar futuras perdas de dados. Qual solução satisfaz esses requisitos?

A solução correta utiliza o AWS IoT Core para ingestão de dados de sensores, que é um serviço totalmente gerenciado e altamente escalável para dispositivos IoT. Ele roteia os dados para um stream de entrega do Amazon Kinesis Data Firehose, que é um serviço de entrega de dados totalmente gerenciado, sem servidor e escalável, que pode carregar dados para o Amazon S3 de forma confiável, sem a necessidade de gerenciar servidores. A transformação de dados com uma função AWS Lambda garante flexibilidade e escalabilidade. Essa arquitetura é altamente disponível e resiliente a falhas, eliminando a perda de dados. As outras opções são menos ideais: Executar Kafka em instâncias EC2 em ativo/standby ainda exige gerenciamento de infraestrutura e não garante a resiliência total de um serviço gerenciado. Migrar para o Amazon MSK é uma boa opção para Kafka, mas a opção do IoT Core com Kinesis Data Firehose é mais adequada para ingestão de dados de milhares de sensores, pois o IoT Core foi projetado especificamente para essa finalidade, oferecendo recursos como autenticação de dispositivos e gerenciamento de mensagens MQTT. Usar o AWS IoT Core e encaminhar para uma única instância EC2 com Kafka reintroduz um ponto único de falha e a necessidade de gerenciar o servidor Kafka, o que a empresa deseja evitar.