Una pipeline Dataflow di streaming è stata ottimizzata automaticamente in un unico passaggio unito e ora presenta ritardi di elaborazione. Come si individua il collo di bottiglia della pipeline?

L'inserimento di un'operazione Reshuffle dopo ogni passaggio di elaborazione forza Dataflow a materializzare i dati, impedendo l'ottimizzazione automatica che unisce i passaggi. Questo permette di isolare il passaggio che causa il collo di bottiglia, poiché i dettagli di esecuzione nella console Dataflow mostreranno il tempo impiegato da ciascun passaggio separatamente. Le altre opzioni sono meno efficaci: inserire sink di output può alterare le prestazioni e non fornisce un'analisi granulare del tempo di elaborazione interno; la registrazione di informazioni di debug è utile per errori logici, non per colli di bottiglia prestazionali; verificare le autorizzazioni è una buona pratica ma non aiuta a identificare colli di bottiglia di elaborazione.