Vous devez traiter des événements par lots et en streaming dans Dataflow lorsque les événements peuvent arriver en retard ou dans le désordre. Comment devez-vous concevoir le pipeline pour gérer les données en retard ou dans le désordre ?

La bonne approche pour gérer les événements en retard ou dans le désordre dans Dataflow est d'utiliser les horodatages des événements et les filigranes (watermarks). Les horodatages d'événements indiquent quand l'événement s'est produit, tandis que les filigranes sont des indicateurs de progression qui estiment jusqu'où les données ont été traitées. Dataflow utilise ces deux éléments pour déterminer quand une fenêtre est considérée comme complète et pour gérer les données qui arrivent après le filigrane (données en retard) en les plaçant dans des fenêtres appropriées ou en les traitant comme des exceptions. L'utilisation d'une seule fenêtre globale ne résoudrait pas le problème des événements en retard ou dans le désordre, car elle traiterait toutes les données comme un flux continu sans distinction temporelle. Les fenêtres glissantes sont utiles pour des analyses continues sur des intervalles qui se chevauchent, mais elles ne gèrent pas intrinsèquement les retards ou le désordre sans l'aide des horodatages et des filigranes. Se baser uniquement sur les horodatages de la source n'est pas suffisant ; le système a besoin des filigranes pour savoir quand il est raisonnable de considérer qu'il n'y aura plus de données pour une période donnée.