Инженер данных ежедневно загружает записи о поведении пользователей с помощью Amazon Kinesis Data Streams. Поток регулируется, потому что некоторые шарды (hot shards) получают гораздо больше трафика, чем другие. Как инженеру остановить регулирование?

Использование случайного ключа партиции (partition key) равномерно распределяет записи по всем шардам, предотвращая перегрузку отдельных "горячих" шардов и связанное с этим регулирование. Kinesis Data Streams использует ключ партиции для определения шарда, в который будет отправлена запись. Если ключ партиции не случаен, некоторые шарды могут получать значительно больше данных, чем другие, что приводит к регулированию. Увеличение количества шардов само по себе не решит проблему, если записи по-прежнему будут неравномерно распределяться по ним. Ограничение количества записей или уменьшение их размера не устраняет корень проблемы неравномерного распределения нагрузки, а лишь снижает общую пропускную способность или требует изменения данных.