Uma empresa ingere grandes volumes de dados de streaming de uma aplicação rodando no Amazon EC2. A aplicação envia dados para o Amazon Kinesis Data Streams configurado com as configurações padrão. A cada dois dias, a aplicação consome os dados e os grava em um bucket do Amazon S3 para processamento de BI. A empresa percebe que o S3 não está recebendo todos os dados enviados para o Kinesis Data Streams. O que um arquiteto de soluções deve fazer para resolver isso?

A opção correta é atualizar as configurações padrão do Kinesis Data Streams modificando o período de retenção de dados. O Kinesis Data Streams tem um período de retenção padrão de 24 horas. Se a aplicação consome os dados a cada dois dias (48 horas), os dados mais antigos que não foram processados dentro de 24 horas serão perdidos. Aumentar o período de retenção (até 365 dias) garante que os dados permaneçam disponíveis até serem consumidos. Usar a Kinesis Producer Library (KPL) otimiza a produção de dados, mas não resolve o problema de dados perdidos devido à retenção. Aumentar o número de shards do Kinesis melhora a capacidade de ingestão e throughput, mas não impede a perda de dados se o período de retenção for muito curto para o consumo. Ativar o S3 Versioning preserva versões de objetos no S3, mas não afeta os dados que não chegam ao S3 devido à expiração no Kinesis.