あるデータエンジニアが、Amazon Kinesis Data Streams を使用して日々のユーザー行動記録を取り込んでいます。一部のシャード（ホットシャード）が他のシャードよりもはるかに多くのトラフィックを受信しているため、ストリームがスロットリングされています。エンジニアはどのようにしてスロットリングを停止すべきですか？

このシナリオでは、一部のシャードが「ホットシャード」となり、他のシャードよりも多くのトラフィックを受けていることが問題です。Kinesis Data Streamsはパーティションキーに基づいてレコードをシャードにルーティングするため、ランダムなパーティションキーを使用することで、レコードがシャード全体に均等に分散され、ホットシャードの発生を防ぎ、スロットリングを解消できます。 シャード数を増やすだけでは、パーティションキーの偏りがある場合、依然として一部のシャードにトラフィックが集中する可能性があります。プロデューサーが送信するレコード数を制限したり、レコードサイズを小さくしたりすることは、根本的な原因であるデータ分散の偏りを解決せず、データ取り込みのパフォーマンスを低下させる可能性があります。