Uma empresa de manufatura coleta dados de dispositivos IoT via Amazon Kinesis Data Streams. O payload contém ID do dispositivo, data de captura, tipo de medição, valor da medição e ID da instalação. O produtor usa o ID da instalação como chave de partição. A equipe de operações observou muitas exceções WriteThroughputExceeded: alguns shards estão sobrecarregados enquanto outros estão ociosos. Como a empresa deve resolver esse problema de hot-shard?

A chave de partição determina como os dados são distribuídos entre os shards. Usar o ID da instalação como chave de partição pode levar a hot shards se algumas instalações gerarem significativamente mais dados do que outras, causando a exceção WriteThroughputExceeded. Alterar a chave de partição para uma chave gerada aleatoriamente (como um UUID ou uma combinação do ID da instalação com um número aleatório) distribui os registros de forma mais uniforme entre os shards, resolvendo o problema de hot-shard. Aumentar o número de shards pode aliviar temporariamente, mas não resolve a causa raiz da distribuição desigual. Arquivar dados no lado do produtor não aborda a distribuição de dados no Kinesis. Usar a data de captura como chave de partição provavelmente agravaria o problema, pois todos os dados de um determinado período iriam para o mesmo shard.