Una empresa de fabricación recopila datos de dispositivos IoT a través de Amazon Kinesis Data Streams. La carga útil contiene el ID del dispositivo, la fecha de captura, el tipo de medición, el valor de la medición y el ID de la instalación. El productor utiliza el ID de la instalación como clave de partición. El equipo de operaciones observó muchas excepciones WriteThroughputExceeded: algunos shards están sobrecargados mientras que otros están inactivos. ¿Cómo debería la empresa resolver este problema de hot-shard?

La opción correcta es cambiar la clave de partición del ID de la instalación a una clave generada aleatoriamente. El problema de hot-shard (shard sobrecargado) ocurre porque el ID de la instalación como clave de partición concentra un gran volumen de datos en pocos shards, causando excepciones WriteThroughputExceeded. Al usar una clave generada aleatoriamente, los datos se distribuyen de manera más uniforme entre todos los shards disponibles, mejorando el rendimiento y la escalabilidad del stream. Aumentar el número de shards no resuelve el problema subyacente de la distribución desigual de datos si la clave de partición sigue siendo la misma. Archivar datos en el lado del productor no aborda la distribución de datos dentro de Kinesis Data Streams. Cambiar la clave de partición a la fecha de captura también resultaría en hot-shards, ya que todos los datos de un mismo día se dirigirían al mismo shard.