Een Dataflow DoFn faalt op foutieve invoer en je moet slechte records betrouwbaar vastleggen en opnieuw verwerken. Wat is de juiste ontwerpaanpassing?
Kies een antwoord
Tik op een optie om je antwoord te controleren.
Correct antwoord: Voeg een try…catch-blok toe aan je DoFn dat de gegevens transformeert, gebruik een sideOutput om een PCollection te maken die later naar Pub/Sub kan worden opgeslagen..
Waarom dit het antwoord is
De correcte aanpassing is het toevoegen van een try...catch-blok in de DoFn en het gebruik van een sideOutput. Dit vangt de fouten op en leidt de foute records naar een aparte PCollection. Deze PCollection kan vervolgens naar Pub/Sub worden geschreven voor betrouwbare opslag en latere herverwerking, zonder de hoofd pipeline te onderbreken. Het toevoegen van een filterstap is onvoldoende, omdat het de foutieve records overslaat in plaats van ze te verwerken. Het extraheren van foutieve rijen uit logs is onbetrouwbaar en niet schaalbaar. Het direct vanuit de DoFn naar Pub/Sub schrijven is inefficiënt en niet de idiomatische manier om met neveneffecten om te gaan in Apache Beam/Dataflow. sideOutput is hiervoor de aangewezen methode.
Slaag voor je examen — zonder eindeloos zoeken naar antwoorden
Krijg elke geverifieerde vraag en uitleg voor dit examen op één plek, en bespaar uren voorbereiding. Meer dan 1.000 certificeringen · Meer dan 20 talen · gratis om te beginnen.
Slaag sneller voor je examen → Geen kaart nodig