Je moet onbewerkte, ongestructureerde brongegevens exact opslaan zoals ze zijn opgehaald (schema kan veranderen) voor latere herverwerking. Waar moet je de onbewerkte gegevens plaatsen en hoe moeten pipelines deze benaderen?

De juiste aanpak is om de onbewerkte, ongestructureerde gegevens op te slaan in een Cloud Storage-bucket. Cloud Storage is ideaal voor het opslaan van onbewerkte gegevens van elk formaat en schema, inclusief ongestructureerde gegevens, en biedt hoge duurzaamheid en schaalbaarheid. Dit maakt het geschikt voor "exact zoals opgehaald" opslag en latere herverwerking, zelfs als het schema verandert. Verwerkingspipelines kunnen de gegevens direct uit de bucket halen. Het opslaan van onbewerkte gegevens in een BigQuery-tabel is minder geschikt omdat BigQuery een schemagebonden database is, wat problemen kan opleveren bij het opslaan van ongestructureerde gegevens of gegevens met een veranderend schema. Het doorsturen van gegevens door een verwerkingspipeline voordat ze worden opgeslagen, druist in tegen het vereiste om de onbewerkte gegevens exact op te slaan zoals ze zijn opgehaald voor latere herverwerking.