Je hebt 5 jaar aan logs geüpload naar Cloud Storage en afwijkende waarden gevonden die fouten aangeven. Je moet de waarden corrigeren, de originelen bewaren voor compliance en het proces opnieuw kunnen uitvoeren. Wat moet je doen?

De correcte optie is het maken van een Dataflow-pipeline die leest uit Cloud Storage, afwijkende waarden vervangt en de gecorrigeerde records naar een nieuwe dataset in Cloud Storage schrijft. Dataflow is uitermate geschikt voor grootschalige dataverwerking en transformatie, zoals het opschonen van logs. Door de gecorrigeerde data naar een nieuwe locatie te schrijven, blijven de originele logs intact voor compliance, wat een vereiste is. Het opnieuw kunnen uitvoeren van het proces is inherent aan een pipeline-benadering. Het importeren in BigQuery en rijen overslaan voldoet niet aan de eis om de waarden te corrigeren. Een Compute Engine-instantie is minder schaalbaar en efficiënt voor deze taak dan Dataflow. Het terugschrijven naar dezelfde dataset in Cloud Storage zou de originele data overschrijven, wat in strijd is met de compliance-eis om de originelen te bewaren.