Ponad 10 000 czujników publikuje dane za pomocą MQTT do lokalnego klastra Apache Kafka, który przekształca dane i przechowuje wyniki w Amazon S3. Serwer Kafka niedawno uległ awarii, a dane zostały utracone podczas odzyskiwania. Firma potrzebuje wysoce dostępnego, skalowalnego projektu AWS, aby uniknąć przyszłych strat danych. Które rozwiązanie spełnia te wymagania?

Poprawna odpowiedź zapewnia wysoką dostępność i skalowalność, jednocześnie eliminując pojedyncze punkty awarii. AWS IoT Core jest wysoce skalowalną i zarządzaną usługą do pozyskiwania danych z milionów urządzeń, obsługującą MQTT. Kinesis Data Firehose to w pełni zarządzana usługa, która automatycznie skaluje się i dostarcza dane do S3, zapewniając trwałość i minimalizując utratę danych. Funkcje Lambda umożliwiają bezserwerową transformację danych, co zwiększa elastyczność i skalowalność. Pozostałe opcje są mniej odpowiednie: Uruchomienie dwóch instancji EC2 z Kafka w trybie aktywny/gotowości nadal wymaga zarządzania infrastrukturą i nie zapewnia takiej elastyczności skalowania jak usługi zarządzane. Migracja do Amazon MSK jest lepsza niż samodzielne zarządzanie Kafka, ale dodanie NLB przed brokerami MSK jest zbędne, ponieważ MSK już zapewnia punkty końcowe o wysokiej dostępności. Użycie AWS IoT Core do pozyskiwania danych, ale przekazywanie ich do pojedynczej instancji EC2 z Kafka, wprowadza z powrotem pojedynczy punkt awarii i nie rozwiązuje problemu utraty danych, który wystąpił wcześniej.