Een Dataflow streaming job leest Pub/Sub, een DoFn past bedrijfslogica toe en schrijft naar BigQuery. Als de DoFn faalt voor een bericht, wil je dat dat bericht naar een Pub/Sub topic wordt gestuurd dat je monitort voor waarschuwingen. Wat moet je doen?

De correcte aanpak is om binnen de DoFn van Dataflow een exception handling block te implementeren. Wanneer een bericht niet kan worden verwerkt, stuur je het via een side output naar een apart Pub/Sub topic dat specifiek is bedoeld voor foutieve berichten. Dit stelt je in staat om de mislukte berichten te isoleren en te analyseren zonder de hoofdverwerking te onderbreken. Cloud Monitoring kan vervolgens worden geconfigureerd om het aantal onbevestigde berichten (numunackedmessagesbyregion) op dit nieuwe topic te monitoren, zodat je direct op de hoogte bent van verwerkingsfouten. Het inschakelen van het bewaren van bevestigde berichten (numretainedackedmessages) is niet relevant, omdat dit gaat over reeds succesvol verwerkte berichten. Dead lettering is een goede optie voor onverwerkte berichten direct vanuit Pub/Sub, maar in dit scenario vindt de fout plaats binnen de Dataflow DoFn, na de initiële ontvangst door Dataflow. Een snapshot monitort de status van een abonnement op een bepaald moment, niet de continue stroom van fouten.