Производственная компания собирает данные с IoT-устройств через Amazon Kinesis Data Streams. Полезная нагрузка содержит ID устройства, дату захвата, тип измерения, значение измерения и ID объекта. Производитель использует ID объекта в качестве ключа партиционирования. Команда эксплуатации заметила множество исключений WriteThroughputExceeded: некоторые шарды перегружены, в то время как другие простаивают. Как компания должна решить эту проблему с «горячими» шардами?

Проблема WriteThroughputExceeded указывает на неравномерное распределение данных по шардам, что приводит к "горячим" шардам. Использование ID объекта в качестве ключа партиционирования означает, что данные с часто используемых объектов будут направляться в один и тот же шард, перегружая его. Изменение ключа партиционирования на случайно сгенерированный ключ (например, с использованием UUID или добавлением случайного префикса к существующему ключу) обеспечит более равномерное распределение записей по всем шардам, снижая вероятность возникновения "горячих" шардов. Увеличение количества шардов (масштабирование) может временно решить проблему, но не устранит корень неравномерного распределения. Архивирование данных на стороне производителя не влияет на распределение данных в Kinesis. Использование даты захвата в качестве ключа партиционирования также приведет к "горячим" шардам, так как все данные за одну и ту же дату будут направляться в один шард.