Inkomende data wordt naar BigQuery geschreven, maar is 'dirty'; je hebt een geautomatiseerd dagelijks data-kwaliteits-/opschoningsproces nodig dat de kosten beheert. Wat moet je implementeren?

Cloud Dataprep is een volledig beheerde, serverloze service die is ontworpen voor het visueel verkennen, opschonen en voorbereiden van gestructureerde en ongestructureerde gegevens. Het is ideaal voor dit scenario omdat het een intuïtieve interface biedt voor het definiëren van datatransformaties en het plannen van dagelijkse taken, wat de kosten beheert door de noodzaak van handmatig coderen te verminderen. De resultaten kunnen direct naar BigQuery worden geschreven. Een streaming Cloud Dataflow-taak is te complex en duur voor een dagelijkse batchopschoning. Cloud Functions zijn beter geschikt voor kleinere, event-gedreven taken en zouden in dit geval te veel code en beheer vereisen. Een SQL-view in BigQuery is nuttig voor eenvoudige transformaties, maar mist de geavanceerde opschoningsmogelijkheden en de visuele interface van Dataprep voor 'dirty' data.