Meer dan 10.000 sensoren publiceren gegevens via MQTT naar een on-premises Apache Kafka-cluster dat de gegevens transformeert en resultaten opslaat in Amazon S3. De Kafka-server crashte onlangs en gegevens gingen verloren tijdens het herstel. Het bedrijf heeft een zeer beschikbare, schaalbare AWS-oplossing nodig om toekomstig gegevensverlies te voorkomen. Welke oplossing voldoet aan deze vereisten?

Deze oplossing is zeer beschikbaar en schaalbaar, en voorkomt gegevensverlies. AWS IoT Core is ontworpen voor het opnemen van miljoenen IoT-apparaten en biedt een robuuste, beheerde service. Kinesis Data Firehose levert gegevens betrouwbaar aan S3, met ingebouwde buffering en foutafhandeling. Lambda zorgt voor serverloze transformatie. De optie met EC2-instanties voor Kafka in actief/stand-by is minder schaalbaar en vereist handmatige configuratie voor hoge beschikbaarheid en failover, wat complexer is dan beheerde services. De optie met Amazon MSK en een NLB is een verbetering, maar IoT Core en Kinesis Firehose bieden een nog meer serverloze en schaalbare oplossing voor dit specifieke gebruiksscenario (10.000+ sensoren). De laatste optie, met IoT Core naar een enkele EC2 Kafka-instantie, introduceert een single point of failure en is niet schaalbaar.