Een productiebedrijf verzamelt IoT-apparaatgegevens via Amazon Kinesis Data Streams. De payload bevat device ID, capture date, measurement type, measurement value en facility ID. De producer gebruikt facility ID als de partition key. Het operations-team heeft veel WriteThroughputExceeded-uitzonderingen waargenomen: sommige shards zijn overbelast terwijl andere inactief zijn. Hoe moet het bedrijf dit hot-shard-probleem oplossen?

De correcte oplossing is het wijzigen van de partition key naar een willekeurig gegenereerde sleutel. De huidige partition key, facility ID, leidt tot hot shards omdat de gegevens van bepaalde faciliteiten veel vaker worden bijgewerkt dan andere, waardoor de shards die aan die facility ID's zijn toegewezen overbelast raken. Een willekeurig gegenereerde sleutel verdeelt de gegevens gelijkmatiger over alle shards, wat de kans op WriteThroughputExceeded-uitzonderingen vermindert. Het verhogen van het aantal shards lost het onderliggende probleem van ongelijke datadistributie niet op; de hot shards blijven hot, alleen over meer shards verdeeld. Het archiveren van gegevens aan de producer-zijde is geen oplossing voor hot shards, maar eerder een strategie voor gegevensretentie. Het wijzigen van de partition key naar capture date zou ook leiden tot hot shards, omdat alle gegevens die op hetzelfde moment zijn vastgelegd naar dezelfde shard zouden gaan, wat vergelijkbare problemen zou veroorzaken.