Компания принимает большие объемы потоковых данных из приложения, работающего на Amazon EC2. Приложение отправляет данные в Amazon Kinesis Data Streams, настроенный с параметрами по умолчанию. Каждые два дня приложение потребляет данные и записывает их в бакет Amazon S3 для обработки BI. Компания обнаруживает, что S3 не получает все данные, отправленные в Kinesis Data Streams. Что должен сделать архитектор решений, чтобы решить эту проблему?

По умолчанию Kinesis Data Streams хранит данные в течение 24 часов. Если приложение потребляет данные только каждые два дня (48 часов), то данные, отправленные более 24 часов назад, будут удалены до того, как приложение сможет их обработать. Увеличение периода хранения данных в Kinesis Data Streams позволит сохранить данные дольше, чем 24 часа, гарантируя, что приложение сможет их получить. Использование Kinesis Producer Library (KPL) улучшает отправку данных, но не решает проблему их потери из-за короткого срока хранения. Увеличение количества шардов Kinesis повышает пропускную способность, но не влияет на период хранения данных. Включение S3 Versioning в бакете S3 сохраняет версии объектов, но не решает проблему потери данных до их попадания в S3.