Tworzysz aplikację, która pobiera strumień danych dostarczanych przez użytkowników. Wiele procesorów opartych na EC2 musi przetwarzać strumień współbieżnie w czasie rzeczywistym, a każdy procesor musi być w stanie wznowić pracę bez utraty danych po przerwach. Później zostaną dodane kolejne procesory i chcesz zminimalizować duplikację danych. Które rozwiązanie spełnia te wymagania?

Amazon Kinesis Data Streams to usługa zaprojektowana do przetwarzania dużych strumieni danych w czasie rzeczywistym. Umożliwia wielu konsumentom (w tym przypadku instancjom EC2) przetwarzanie tego samego strumienia danych współbieżnie. Dzięki przechowywaniu danych przez konfigurowalny okres (domyślnie 24 godziny, do 365 dni), konsumenci mogą wznowić przetwarzanie od ostatniego przetworzonego rekordu bez utraty danych po przerwach. Dodatkowo, Kinesis Data Streams automatycznie zarządza fragmentami (shards), co minimalizuje duplikację danych i ułatwia skalowanie w miarę dodawania kolejnych procesorów. Amazon SQS jest usługą kolejkowania wiadomości, która domyślnie pozwala tylko jednemu konsumentowi przetworzyć wiadomość, co nie spełnia wymogu współbieżnego przetwarzania przez wielu konsumentów. Amazon Kinesis Data Firehose służy do ładowania danych do magazynów docelowych, a nie do przetwarzania w czasie rzeczywistym przez wiele aplikacji. Amazon EventBridge to bezserwerowa magistrala zdarzeń, która służy do routingu zdarzeń między aplikacjami, a nie do strumieniowego przetwarzania dużych wolumenów danych.