Você está desenvolvendo um aplicativo que ingere um fluxo de dados fornecidos pelo usuário. Vários processadores baseados em EC2 devem consumir o fluxo simultaneamente em tempo real, e cada processador deve ser capaz de ser reiniciado sem perda de dados após interrupções. Mais processadores serão adicionados posteriormente, e você deseja minimizar a duplicação de dados. Qual solução atende a esses requisitos?

O Amazon Kinesis Data Streams é a solução ideal porque permite que vários consumidores (seus processadores EC2) leiam o mesmo fluxo de dados simultaneamente e em tempo real. Ele retém os dados por um período configurável (até 365 dias), o que garante que os processadores possam ser reiniciados após interrupções e continuar processando os dados do ponto onde pararam, sem perda. A adição de novos processadores é simples, pois eles podem se inscrever no fluxo existente. O Amazon SQS é um serviço de fila de mensagens que, por padrão, permite apenas um consumidor por mensagem (a menos que se use um padrão fan-out com SNS, o que adicionaria complexidade). O Amazon Kinesis Data Firehose é um serviço de entrega gerenciado para carregar dados em destinos de armazenamento, não para consumo em tempo real por múltiplos processadores. O Amazon EventBridge é um barramento de eventos sem servidor para rotear eventos entre fontes e destinos, não para streaming de dados contínuo e em tempo real.