Ein produzierendes Unternehmen sammelt IoT-Gerätedaten über Amazon Kinesis Data Streams. Die Nutzlast enthält Geräte-ID, Erfassungsdatum, Messtyp, Messwert und Anlagen-ID. Der Produzent verwendet die Anlagen-ID als Partitionsschlüssel. Das Betriebsteam stellte viele WriteThroughputExceeded-Ausnahmen fest: einige Shards sind überlastet, während andere untätig sind. Wie sollte das Unternehmen dieses Hot-Shard-Problem lösen?

Die Änderung des Partitionsschlüssels von der Anlagen-ID zu einem zufällig generierten Schlüssel verteilt die Daten gleichmäßiger auf die Shards. Dies verhindert, dass einzelne Shards überlastet werden, wenn bestimmte Anlagen viele Daten senden, und löst somit das Hot-Shard-Problem. Die Erhöhung der Shard-Anzahl würde die Gesamtverarbeitungskapazität erhöhen, aber nicht das Problem der ungleichmäßigen Verteilung beheben, wenn der Partitionsschlüssel weiterhin zu Hot Shards führt. Das Archivieren von Daten auf der Produzentenseite ist keine Lösung für Hot Shards in Kinesis. Die Änderung des Partitionsschlüssels zum Erfassungsdatum würde wahrscheinlich ebenfalls zu Hot Shards führen, da alle Daten, die zur gleichen Zeit empfangen werden, auf denselben Shard geleitet würden.