Usted subió 5 años de registros a Cloud Storage y encontró valores fuera de rango que indican errores. Debe corregir los valores, mantener los originales para cumplir con las normativas y poder volver a ejecutar el proceso. ¿Qué debería hacer?

La opción correcta es crear un pipeline de Dataflow que lea desde Cloud Storage, reemplace los valores fuera de rango y escriba los registros corregidos en un nuevo conjunto de datos en Cloud Storage. Esto permite corregir los datos mientras se mantienen los registros originales intactos para cumplir con las normativas y la capacidad de re-ejecutar el proceso. Dataflow es ideal para el procesamiento de datos a gran escala. Importar a BigQuery y omitir filas no permite corregir los valores, solo descartarlos. Usar Compute Engine para copiar y omitir es menos escalable y eficiente que Dataflow para esta tarea. Escribir de nuevo en el mismo conjunto de datos sobrescribiría los originales, violando el requisito de mantenerlos.