Ein Dataflow-Streaming-Job liest Pub/Sub, eine DoFn wendet Geschäftslogik an und schreibt in BigQuery. Wenn die DoFn für eine Nachricht fehlschlägt, möchten Sie, dass diese Nachricht an ein Pub/Sub-Thema gesendet wird, das Sie auf Warnungen überwachen. Was sollten Sie tun?

Die korrekte Lösung ist, einen Ausnahmebehandlungsblock im Dataflow-DoFn-Code zu verwenden. Wenn eine Nachricht fehlschlägt, kann sie über einen Side-Output an ein separates Pub/Sub-Thema gesendet werden, das speziell für fehlerhafte Nachrichten vorgesehen ist. Dieses Muster ist eine bewährte Methode für die Fehlerbehandlung in Dataflow, da es die Hauptpipeline nicht blockiert und eine separate Verarbeitung fehlerhafter Nachrichten ermöglicht. Cloud Monitoring kann dann das neue Pub/Sub-Thema auf die Metrik topic/numunackedmessagesbyregion überwachen, um auf Probleme hinzuweisen. Die Option, bestätigte Nachrichten beizubehalten, ist nicht für die Fehlerbehandlung gedacht, sondern für die Wiederholung von Nachrichten nach erfolgreicher Verarbeitung. Dead Lettering in Pub/Sub ist eine gute Option, aber es fängt nur Nachrichten ab, die von Pub/Sub selbst als nicht verarbeitet angesehen werden (z.B. nach mehreren Zustellversuchen ohne Bestätigung), nicht aber Fehler, die innerhalb der Dataflow-DoFn-Logik auftreten. Ein Snapshot ist eine Momentaufnahme des Abonnements zu einem bestimmten Zeitpunkt und nicht zur kontinuierlichen Fehlerbehandlung geeignet.