I dati in ingresso vengono scritti in BigQuery ma sono "sporchi"; è necessario un processo automatizzato giornaliero di pulizia/qualità dei dati che controlli i costi. Cosa si dovrebbe implementare?

Cloud Dataprep è uno strumento di preparazione dati serverless e visuale, ideale per la pulizia e la trasformazione di dati "sporchi" in BigQuery. Permette di definire regole di pulizia senza scrivere codice, riducendo i costi di sviluppo e manutenzione. La pianificazione giornaliera automatizza il processo, soddisfacendo i requisiti. Le altre opzioni sono meno efficienti o appropriate: Cloud Dataflow in streaming è più adatto per l'elaborazione continua in tempo reale, non per un processo batch giornaliero. Una Cloud Function con Compute Engine è una soluzione più complessa e costosa da gestire per questo caso d'uso, richiedendo più codice e infrastruttura. Una vista SQL in BigQuery non esegue la pulizia attiva; è una query logica. Per salvare i risultati puliti in una nuova tabella, sarebbe comunque necessario un meccanismo di orchestrazione esterno, come Cloud Composer o uno script, aumentando la complessità.