Una empresa ingiere grandes volúmenes de datos de streaming desde una aplicación que se ejecuta en Amazon EC2. La aplicación envía datos a Amazon Kinesis Data Streams configurado con los ajustes predeterminados. Cada dos días, la aplicación consume los datos y los escribe en un bucket de Amazon S3 para el procesamiento de BI. La empresa descubre que S3 no está recibiendo todos los datos enviados a Kinesis Data Streams. ¿Qué debería hacer un arquitecto de soluciones para resolver esto?

La retención predeterminada de datos en Kinesis Data Streams es de 24 horas. Si la aplicación consume los datos cada dos días (48 horas), los datos más antiguos se habrán purgado de Kinesis antes de que la aplicación tenga la oportunidad de procesarlos y escribirlos en S3. Aumentar el período de retención de datos en Kinesis Data Streams a más de 48 horas asegurará que los datos estén disponibles cuando la aplicación los consuma. Las otras opciones son incorrectas: Usar Kinesis Producer Library (KPL) mejora la eficiencia de la producción de datos, pero no resuelve el problema de la retención. Aumentar el número de shards mejora el rendimiento, pero no afecta la retención de datos. Activar S3 Versioning en el bucket de S3 gestiona versiones de objetos una vez que llegan a S3, pero no resuelve el problema de los datos que no llegan a S3 en primer lugar.