Het streamen van aandelenkoersen van Pub/Sub naar Dataflow vereist het berekenen van een voortschrijdend gemiddelde van de afgelopen 30 seconden, elke 5 seconden. Hoe configureer je windows en triggers?

De vraag vereist een voortschrijdend gemiddelde over de afgelopen 30 seconden, berekend elke 5 seconden. Dit is de definitie van een sliding window. Een sliding window heeft een 'duration' (de grootte van het venster, hier 30 seconden) en een 'period' (hoe vaak het venster schuift, hier 5 seconden). AfterWatermark.pastEndOfWindow() is de standaard en meest geschikte trigger voor het produceren van resultaten zodra de watermark de einde van het venster passeert, wat zorgt voor correctheid op basis van event-tijden. De andere opties zijn onjuist: Fixed windows zijn niet geschikt voor voortschrijdende gemiddelden die overlappen. Een sliding window met een duration van 5 seconden zou een gemiddelde over slechts 5 seconden berekenen, niet 30. AfterProcessingTime triggers zijn meestal niet ideaal voor correcte resultaten op basis van event-tijden in streaming, omdat ze afhankelijk zijn van de verwerkingstijd.