Una canalización de Dataflow de streaming se optimizó automáticamente en un solo paso combinado y ahora presenta retrasos en el procesamiento. ¿Cómo se localiza el cuello de botella de la canalización?

La inserción de una operación Reshuffle (o GroupByKey sin clave) fuerza a Dataflow a materializar los datos en ese punto, impidiendo que se combinen pasos en exceso y permitiendo una mejor visibilidad del rendimiento de cada etapa. Al monitorear los detalles de ejecución en la consola de Dataflow, se pueden identificar los pasos que tienen un rendimiento deficiente o un alto uso de recursos, lo que indica un cuello de botella. Insertar sumideros de salida no es práctico y no proporciona la misma granularidad de información de rendimiento. Registrar información de depuración es útil para la lógica de la aplicación, pero no para identificar cuellos de botella de rendimiento a nivel de la canalización. Verificar los permisos de la cuenta de servicio es una buena práctica general, pero no aborda directamente el problema de un cuello de botella de procesamiento causado por la optimización automática.