Вам необходимо назначать GUID через внешний HTTP-сервис, вызываемый из микросервисов со скоростью в десятки тысяч сообщений в секунду, и вы обеспокоены обратным давлением. Как следует спроектировать конвейер, чтобы минимизировать обратное давление?

Разбиение задачи на десятисекундные интервалы (или на более мелкие батчи) позволяет эффективно управлять обратным давлением при вызове внешнего HTTP-сервиса. Вместо того чтобы вызывать сервис для каждого отдельного сообщения, вы собираете сообщения в небольшие группы (батчи) и отправляете их за один раз. Это значительно сокращает количество HTTP-запросов к внешнему сервису, уменьшая нагрузку на него и снижая вероятность его перегрузки. Такой подход также оптимизирует использование сетевых ресурсов и уменьшает накладные расходы на установление соединений. Вызов сервиса по HTTP напрямую для каждого сообщения приведет к высокому обратному давлению. Создание конвейера статически или нового объекта в startBundle DoFn не решает проблему обратного давления, связанную с внешними вызовами.