È necessario archiviare i dati di origine grezzi e non strutturati esattamente come recuperati (lo schema potrebbe cambiare) per una successiva rielaborazione. Dove è opportuno collocare i dati grezzi e come dovrebbero accedervi le pipeline?

La risposta corretta è archiviare i dati in un bucket Cloud Storage e progettare le pipeline per recuperarli da lì. Cloud Storage è ideale per dati grezzi e non strutturati, anche con schema variabile, perché è un object storage scalabile e a basso costo che conserva i dati nel loro formato originale. Le pipeline possono facilmente accedere a questi dati per la rielaborazione. Le altre opzioni sono meno adatte: Inviare i dati attraverso la pipeline e archiviare i dati elaborati in BigQuery non conserva i dati grezzi originali e non strutturati, che potrebbero essere necessari per future rielaborazioni con schemi diversi. Archiviare i dati grezzi direttamente in una tabella BigQuery non è l'ideale per dati non strutturati o con schema mutevole, poiché BigQuery è un data warehouse basato su schemi. Inviare i dati attraverso la pipeline e archiviare i dati elaborati in un bucket Cloud Storage ha lo stesso problema della prima opzione: non conserva i dati grezzi originali.