Um engenheiro de dados ingere registros diários de comportamento do usuário com o Amazon Kinesis Data Streams. O stream está sendo limitado (throttled) porque alguns shards (hot shards) recebem muito mais tráfego do que outros. Como o engenheiro deve parar o throttling?

A causa do throttling é a distribuição desigual dos dados entre os shards, resultando em "hot shards". Usar uma chave de partição aleatória (ou uma chave de partição com alta cardinalidade e boa distribuição) garante que os registros sejam distribuídos de forma mais uniforme entre todos os shards disponíveis, resolvendo o problema de hot shards e eliminando o throttling. Aumentar o número de shards sem alterar a chave de partição não resolveria o problema, pois os novos shards também ficariam subutilizados enquanto os hot shards continuariam a receber a maior parte do tráfego. Limitar o número de registros ou diminuir o tamanho dos registros são soluções paliativas que reduzem a taxa de ingestão total, mas não abordam a causa raiz da distribuição desigual e podem impactar a funcionalidade da aplicação.