Plus de 10 000 capteurs publient des données via MQTT vers un cluster Apache Kafka sur site qui transforme les données et stocke les résultats dans Amazon S3. Le serveur Kafka a récemment planté et des données ont été perdues pendant la récupération. L'entreprise a besoin d'une architecture AWS hautement disponible et évolutive pour éviter toute perte de données future. Quelle solution répond à ces exigences ?

La solution correcte propose AWS IoT Core pour l'ingestion des données des capteurs, ce qui est idéal pour les appareils IoT grâce à son support MQTT et sa scalabilité. Les données sont ensuite acheminées vers Amazon Kinesis Data Firehose, un service sans serveur et hautement disponible pour la diffusion de données vers S3. Une fonction AWS Lambda est utilisée pour la transformation des données, offrant une flexibilité et une scalabilité sans serveur. Cette combinaison assure une haute disponibilité, une scalabilité et une durabilité des données sans nécessiter de gestion d'infrastructure. L'option d'exécuter Kafka sur EC2 en actif/veille n'est pas idéale car elle nécessite une gestion manuelle de la haute disponibilité et ne résout pas entièrement le problème de perte de données en cas de défaillance du disque ou de l'instance. La migration vers Amazon MSK est une amélioration, mais l'ajout d'un NLB devant les brokers MSK est redondant car MSK gère déjà la haute disponibilité et l'équilibrage de charge. Enfin, l'utilisation d'AWS IoT Core pour envoyer les données à une seule instance EC2 exécutant Kafka réintroduit un point de défaillance unique et ne répond pas aux exigences de haute disponibilité.