Más de 10.000 sensores publican datos usando MQTT en un clúster de Apache Kafka on-premises que transforma los datos y almacena los resultados en Amazon S3. El servidor Kafka falló recientemente y se perdieron datos durante la recuperación. La empresa necesita un diseño de AWS altamente disponible y escalable para evitar futuras pérdidas de datos. ¿Qué solución satisface estos requisitos?

La opción correcta utiliza AWS IoT Core para la ingesta de datos de millones de dispositivos, lo que es altamente escalable y disponible. Luego, enruta los datos a Kinesis Data Firehose, que es un servicio totalmente administrado para entregar datos a Amazon S3 de forma fiable y escalable, evitando la pérdida de datos. Lambda se encarga de la transformación de datos sin servidor. La primera opción (Kafka en EC2 activo/en espera) no ofrece la escalabilidad y disponibilidad nativa de los servicios administrados de AWS y la recuperación de fallos podría ser lenta. La segunda opción (Amazon MSK con NLB) es una mejora, pero AWS IoT Core es más adecuado para la ingesta de datos de millones de sensores MQTT, y Kinesis Data Firehose simplifica la entrega a S3 sin gestionar brokers de Kafka. La cuarta opción (IoT Core a Kafka en EC2) reintroduce la complejidad y los puntos únicos de fallo de una instancia EC2 de Kafka.