Una empresa transmite datos de clics a Kinesis y los entrega a un data lake en S3 a través de Kinesis Data Firehose. A medida que el volumen crece, la tasa de ingesta de S3 se mantiene constante, pero el backlog de Kinesis Data Streams y Firehose aumenta. ¿Qué acción es MÁS probable que aumente el rendimiento de la ingesta en S3?

Aumentar el número de shards en el Kinesis data stream es la acción más probable para aumentar el rendimiento de la ingesta en S3. Cada shard en Kinesis Data Streams tiene una capacidad de rendimiento limitada (1 MB/s de entrada, 2 MB/s de salida, 1000 registros/s de entrada). Un aumento en el volumen de datos que causa un backlog indica que la capacidad actual de los shards es insuficiente. Al añadir más shards, se incrementa la capacidad total del stream, permitiendo procesar y entregar más datos a Firehose y, consecuentemente, a S3. Disminuir el período de retención del Kinesis data stream no afecta el rendimiento de ingesta, solo cuánto tiempo se almacenan los datos. Aumentar el número de prefijos de S3 a los que escribe Firehose puede ayudar con el rendimiento de lectura de S3, pero no directamente con la tasa de ingesta de Firehose a S3 si el cuello de botella está en Kinesis. Añadir más consumidores usando KCL no es relevante en este escenario, ya que Firehose es el consumidor que entrega a S3.