Un job Cloud Dataflow che utilizza il windowing e le trasformazioni su dati di streaming Pub/Sub fallisce durante l'inserimento in streaming. Qual è la causa più probabile?

Un job Dataflow che elabora dati di streaming con windowing richiede una funzione di windowing non globale (sharded) per definire come raggruppare gli elementi in finestre temporali. Senza questa configurazione, la pipeline non sa come segmentare il flusso continuo di dati e fallisce durante la creazione o l'esecuzione, specialmente con trasformazioni che dipendono da finestre, come aggregazioni. L'assenza di timestamp degli eventi o la mancata configurazione dei trigger per i dati in ritardo causerebbero problemi di accuratezza o ritardi nell'elaborazione, ma non un fallimento immediato alla creazione della pipeline. Una funzione di windowing globale è valida, ma per lo streaming con windowing e trasformazioni, una finestra non globale è tipicamente necessaria per elaborare sottogruppi di dati.