데이터 엔지니어가 Amazon Kinesis Data Streams를 사용하여 일일 사용자 행동 기록을 수집하고 있습니다. 일부 샤드(핫 샤드)가 다른 샤드보다 훨씬 많은 트래픽을 수신하여 스트림이 제한되고 있습니다. 엔지니어는 스로틀링을 어떻게 중지해야 할까요?

정답은 수집된 레코드를 분산하기 위해 무작위 파티션 키를 사용하는 것입니다. Kinesis Data Streams는 파티션 키를 사용하여 데이터를 샤드에 매핑합니다. 핫 샤드는 특정 파티션 키에 너무 많은 데이터가 할당될 때 발생합니다. 무작위 파티션 키를 사용하면 데이터가 모든 샤드에 고르게 분산되어 핫 샤드 문제를 해결하고 스로틀링을 방지할 수 있습니다. 데이터 스트림의 샤드 수를 늘리는 것은 단기적인 해결책이 될 수 있지만, 파티션 키 분포가 여전히 불균형하다면 핫 샤드 문제가 재발할 수 있습니다. 프로듀서가 초당 전송하는 레코드 수를 제한하거나 레코드 크기를 줄이는 것은 스로틀링을 완화할 수 있지만, 이는 데이터 수집량을 줄이는 것이므로 근본적인 핫 샤드 문제를 해결하지 못합니다.