Un ingeniero de datos ingiere registros diarios de comportamiento de usuarios con Amazon Kinesis Data Streams. El stream está siendo limitado (throttled) porque algunos shards (hot shards) reciben mucho más tráfico que otros. ¿Cómo debería el ingeniero detener la limitación?

La clave de partición determina a qué shard se envía un registro en Kinesis Data Streams. Si se utiliza una clave de partición que resulta en un número desproporcionado de registros yendo a un pequeño subconjunto de shards (hot shards), esos shards se saturarán y el stream se limitará. Usar una clave de partición aleatoria, como un UUID o un hash, distribuye los registros de manera más uniforme entre todos los shards disponibles, evitando que se formen hot shards y eliminando la limitación. Aumentar el número de shards solo es efectivo si la distribución de la clave de partición es uniforme; de lo contrario, los nuevos shards también pueden volverse hot. Limitar el número de registros o disminuir el tamaño de los registros reduce el rendimiento general y no aborda la causa raíz de la distribución desigual del tráfico.