Un ingénieur de données ingère quotidiennement des enregistrements de comportement utilisateur avec Amazon Kinesis Data Streams. Le flux est ralenti (throttling) car certains shards (shards chauds) reçoivent beaucoup plus de trafic que d'autres. Comment l'ingénieur doit-il arrêter le throttling ?

La bonne réponse est d'utiliser une clé de partition aléatoire pour distribuer les enregistrements ingérés. Le throttling dû aux shards chauds se produit lorsque certaines clés de partition reçoivent un volume de données disproportionné, surchargeant les shards auxquels elles sont attribuées. En utilisant une clé de partition aléatoire, l'ingénieur peut mieux répartir la charge de travail sur tous les shards, évitant ainsi la concentration du trafic sur quelques-uns. Augmenter le nombre de shards (option B) pourrait temporairement masquer le problème, mais si la distribution des clés de partition reste inégale, les shards chauds réapparaîtront. Limiter le nombre d'enregistrements (option C) ou diminuer leur taille (option D) réduit le débit global et ne résout pas le problème fondamental de la distribution inégale du trafic entre les shards.