한 제조 회사가 Amazon Kinesis Data Streams를 통해 IoT 디바이스 데이터를 수집합니다. 페이로드에는 디바이스 ID, 캡처 날짜, 측정 유형, 측정 값 및 시설 ID가 포함됩니다. 생산자는 시설 ID를 파티션 키로 사용합니다. 운영 팀은 많은 WriteThroughputExceeded 예외를 확인했습니다. 일부 샤드는 과부하 상태이고 다른 샤드는 유휴 상태입니다. 이 핫 샤드 문제를 어떻게 해결해야 할까요?

정답은 파티션 키를 시설 ID에서 무작위로 생성된 키로 변경하는 것입니다. Kinesis Data Streams는 파티션 키를 사용하여 데이터를 샤드에 매핑합니다. 시설 ID와 같이 카디널리티가 낮거나 데이터 분포가 불균일한 파티션 키를 사용하면 특정 샤드에 데이터가 집중되어 핫 샤드 문제가 발생하고 WriteThroughputExceeded 예외가 발생할 수 있습니다. 무작위로 생성된 키를 사용하면 데이터가 샤드 전체에 더 균등하게 분산되어 핫 샤드 문제를 완화할 수 있습니다. 샤드 수를 늘리는 것은 단기적인 해결책일 수 있지만, 근본적인 파티션 키 문제를 해결하지 못하면 핫 샤드가 다시 발생할 수 있습니다. 생산자 측에서 데이터를 보관하는 것은 데이터 수집 지연을 야기하며, 핫 샤드 문제의 직접적인 해결책이 아닙니다. 파티션 키를 캡처 날짜로 변경하는 것은 시설 ID와 유사하게 특정 날짜에 데이터가 집중될 수 있으므로 핫 샤드 문제를 해결하지 못할 수 있습니다.