ある製造会社は、Amazon Kinesis Data Streams を介して IoT デバイスデータを収集しています。ペイロードには、デバイス ID、キャプチャ日、測定タイプ、測定値、および施設 ID が含まれています。プロデューサーは施設 ID をパーティションキーとして使用しています。運用チームは、多くの WriteThroughputExceeded 例外を観測しました。一部のシャードは過負荷状態ですが、他のシャードはアイドル状態です。このホットシャードの問題を解決するには、会社はどうすべきですか？

ホットシャードは、特定のシャードにデータが集中し、スループット制限を超過することで発生します。この場合、施設IDがパーティションキーとして使用されているため、特定の施設からのデータ量が多いと、その施設に対応するシャードがホットシャードになります。ランダムに生成されたキーをパーティションキーとして使用することで、データがシャード全体に均等に分散され、ホットシャードの問題を解決できます。シャードの数を増やしても、データ分散の偏りが解消されない限り、根本的な解決にはなりません。プロデューサー側でのデータアーカイブは、Kinesis Data Streamsのスループット問題とは直接関係ありません。パーティションキーをキャプチャ日に変更すると、特定の日にデータが集中する可能性があり、ホットシャードの問題が再発する可能性があります。