Zadanie strumieniowe Dataflow odczytuje dane z Pub/Sub, a DoFn stosuje logikę biznesową i zapisuje dane do BigQuery. Jeśli DoFn nie powiedzie się dla wiadomości, chcesz, aby ta wiadomość została wysłana do tematu Pub/Sub, który monitorujesz pod kątem alertów. Co należy zrobić?

Prawidłowa odpowiedź zakłada użycie wyjść bocznych w Dataflow do obsługi błędów. Jeśli DoFn napotka błąd, wiadomość jest kierowana do bocznego wyjścia, które zapisuje ją do dedykowanego tematu Pub/Sub. Następnie Cloud Monitoring może śledzić metrykę topic/numunackedmessagesbyregion dla tego tematu, aby generować alerty. To podejście pozwala na precyzyjne zarządzanie błędami na poziomie logiki biznesowej w Dataflow. Pozostałe opcje są nieprawidłowe, ponieważ: Przechowywanie potwierdzonych wiadomości nie służy do obsługi błędów przetwarzania, a raczej do ponownego przetwarzania potwierdzonych wiadomości. Dead lettering w Pub/Sub jest przydatne, gdy wiadomości nie mogą zostać potwierdzone po wielu próbach, ale nie daje takiej kontroli nad logiką biznesową jak obsługa wyjątków w DoFn. Migawki subskrypcji służą do odtwarzania stanu subskrypcji i nie są mechanizmem do alertowania o błędach przetwarzania.