Ein Dateningenieur nimmt täglich Benutzerverhaltensdatensätze mit Amazon Kinesis Data Streams auf. Der Stream wird gedrosselt, da einige Shards (Hot Shards) wesentlich mehr Traffic erhalten als andere. Wie sollte der Ingenieur die Drosselung beenden?

Die Drosselung tritt auf, weil Hot Shards überlastet sind. Ein zufälliger Partition Key (z.B. eine UUID) verteilt die Datensätze gleichmäßiger auf alle Shards, wodurch die Last auf einzelne Shards reduziert und Hot Shards vermieden werden. Dies ist die effektivste Methode, um die Drosselung zu beheben, wenn die Verteilung das Problem ist. Das Erhöhen der Shard-Anzahl ohne eine bessere Verteilung würde die Hot-Shard-Problematik nicht lösen, da die heißen Partition Keys weiterhin auf denselben Shards landen könnten. Das Begrenzen der Datensatzanzahl oder das Verringern der Datensatzgröße würde zwar die Drosselung reduzieren, aber auch die Datenaufnahme verlangsamen oder die Granularität der Daten beeinträchtigen, was nicht die Ursache des Problems behebt, sondern nur die Symptome lindert.