Più di 10.000 sensori pubblicano dati utilizzando MQTT su un cluster Apache Kafka on-premise che trasforma i dati e archivia i risultati in Amazon S3. Il server Kafka è recentemente crashato e i dati sono andati persi durante il ripristino. L'azienda necessita di un design AWS altamente disponibile e scalabile per evitare future perdite di dati. Quale soluzione soddisfa questi requisiti?

Questa soluzione è la più scalabile e altamente disponibile. AWS IoT Core è progettato per gestire milioni di dispositivi e messaggi MQTT, fornendo un endpoint gestito e resiliente. Kinesis Data Firehose è un servizio completamente gestito per acquisire e caricare dati in Amazon S3, gestendo automaticamente il dimensionamento e la persistenza dei dati. Lambda offre una trasformazione dei dati serverless ed elastica. Insieme, questi servizi eliminano la necessità di gestire server Kafka, riducendo il rischio di crash e perdita di dati. Le altre opzioni sono meno ideali: L'opzione con due istanze EC2 Kafka in attivo/standby non è completamente gestita e richiede una gestione complessa del failover e del dimensionamento, oltre a non risolvere completamente la perdita di dati in caso di crash non gestito. La migrazione a Amazon MSK è una buona opzione per Kafka gestito, ma l'aggiunta di un NLB davanti ai broker MSK non è la pratica standard, poiché MSK gestisce già la disponibilità e l'accesso ai broker. Inoltre, l'NLB non aggiunge un valore significativo in termini di resilienza per i sensori che si connettono direttamente ai broker MSK. L'opzione di usare AWS IoT Core per poi inoltrare a un'istanza EC2 Kafka reintroduce il problema della gestione di un server Kafka singolo e del suo punto di fallimento, vanificando i benefici di IoT Core per la resilienza.