Un job de streaming Dataflow lit depuis Pub/Sub, un DoFn applique la logique métier et écrit dans BigQuery. Si le DoFn échoue pour un message, vous souhaitez que ce message soit envoyé à un topic Pub/Sub que vous surveillez pour les alertes. Que devriez-vous faire ?

L'option correcte permet une gestion robuste des erreurs directement dans le pipeline Dataflow. En utilisant un bloc de gestion des exceptions (try-catch) dans le DoFn, les messages qui provoquent une erreur lors du traitement peuvent être redirigés vers une sortie latérale (side output). Cette sortie latérale peut ensuite être connectée à un nouveau topic Pub/Sub dédié aux messages en échec. La surveillance de la métrique topic/numunackedmessagesbyregion sur ce topic d'erreur permet de détecter et d'alerter rapidement sur les messages non traités. Les autres options sont incorrectes car : La rétention des messages acquittés n'est pas conçue pour la gestion des erreurs de traitement et ne fournit pas de mécanisme pour rediriger les messages défectueux. Le dead lettering de Pub/Sub est utile pour les messages qui ne peuvent pas être acquittés par l'abonné, mais il ne gère pas les erreurs logiques survenant après la réception et pendant le traitement dans Dataflow. La création d'un instantané est une méthode de sauvegarde et de relecture des messages, pas un mécanisme de gestion des erreurs en temps réel pour les messages défectueux.