10,000개 이상의 센서가 MQTT를 사용하여 온프레미스 Apache Kafka 클러스터에 데이터를 게시하고, 이 클러스터는 데이터를 변환하여 결과를 Amazon S3에 저장합니다. 최근 Kafka 서버가 충돌하여 복구 중에 데이터가 손실되었습니다. 회사는 향후 데이터 손실을 방지하기 위해 고가용성 및 확장 가능한 AWS 설계를 필요로 합니다. 어떤 솔루션이 이러한 요구 사항을 충족할까요?

정답은 AWS IoT Core를 사용하여 센서 데이터를 수집하고 Amazon Kinesis Data Firehose 전송 스트림으로 라우팅하는 것입니다. AWS IoT Core는 10,000개 이상의 센서에서 MQTT 메시지를 수집하고 확장하는 데 이상적이며, Kinesis Data Firehose는 고가용성 및 관리형 서비스로 데이터를 S3에 안정적으로 전송합니다. Lambda 함수는 데이터 변환 요구 사항을 충족합니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다: 두 개의 EC2 인스턴스에 Kafka를 호스팅하는 것은 관리 오버헤드가 크고, 고가용성 및 확장성 요구 사항을 완전히 충족하기 어렵습니다. 온프레미스 Kafka 클러스터를 Amazon MSK로 마이그레이션하는 것은 좋은 선택이지만, 센서가 직접 MSK 브로커로 전송하는 것은 IoT 시나리오에 적합하지 않으며, NLB는 MQTT 프로토콜을 직접 지원하지 않습니다. AWS IoT Core를 사용하더라도 데이터를 Kafka 서버를 실행하는 EC2 인스턴스로 전달하는 것은 Kafka 관리 오버헤드를 다시 도입하여 고가용성 및 확장성 목표에 부합하지 않습니다.