Los datos entrantes se escriben en BigQuery, pero están sucios; necesita un proceso automatizado diario de calidad/limpieza de datos que controle los costos. ¿Qué debería implementar?

Cloud Dataprep es la herramienta ideal para la preparación y limpieza de datos, especialmente cuando se trabaja con datos "sucios" en BigQuery. Permite un proceso visual e interactivo para definir transformaciones y luego programar trabajos de limpieza diarios, lo que lo hace eficiente y rentable. Un trabajo de Cloud Dataflow de streaming es para procesamiento en tiempo real, no para una limpieza diaria programada de datos ya escritos. Una Cloud Function activada por Compute Engine es una solución compleja y menos eficiente para la limpieza de datos a gran escala en BigQuery. Una sentencia SQL guardada como vista en BigQuery puede realizar transformaciones, pero carece de las capacidades interactivas de limpieza y preparación de datos de Dataprep, y la gestión de la ejecución y el guardado de resultados requeriría lógica adicional.