Un DoFn Dataflow échoue sur une entrée mal formée et vous devez capturer et retraiter de manière fiable les enregistrements erronés. Quelle est la modification de conception correcte ?
Choisissez une réponse
Appuyez sur une option pour vérifier votre réponse.
Bonne réponse : Ajoutez un bloc try…catch à votre DoFn qui transforme les données, utilisez un sideOutput pour créer une PCollection qui pourra être stockée ultérieurement dans Pub/Sub..
Pourquoi c'est la réponse
La bonne approche consiste à utiliser un bloc try...catch dans votre DoFn pour intercepter les exceptions dues aux données mal formées. Plutôt que d'écrire directement dans Pub/Sub depuis le DoFn, ce qui peut introduire des problèmes de performance ou de fiabilité pour chaque élément, il est préférable d'utiliser un sideOutput. Un sideOutput permet de créer une PCollection distincte pour les éléments erronés. Cette PCollection peut ensuite être traitée de manière asynchrone et stockée de manière fiable, par exemple dans Pub/Sub, une base de données ou un stockage cloud, sans bloquer le traitement principal. Les autres options sont moins efficaces ou fiables : Filtrer les erreurs sans les capturer ne permet pas de les retraiter. Extraire les erreurs des journaux est manuel et peu fiable pour un système de production. Écrire directement dans Pub/Sub depuis chaque DoFn peut être inefficace et difficile à gérer à grande échelle.
Réussissez votre examen — sans la chasse aux réponses interminable
Obtenez toutes les questions et explications vérifiées pour cet examen en un seul endroit, et économisez des heures de préparation. Plus de 1 000 certifications · Plus de 20 langues · Gratuit pour commencer.
Réussissez votre examen plus rapidement → Pas de carte requise