Sie müssen rohe, unstrukturierte Quelldaten genau so speichern, wie sie abgerufen wurden (Schema kann sich ändern), um sie später erneut verarbeiten zu können. Wo sollten Sie die Rohdaten ablegen und wie sollten Pipelines darauf zugreifen?

Cloud Storage ist ideal für das Speichern von Rohdaten, da es unstrukturierte Daten in jedem Format aufnehmen kann, ohne ein Schema zu erzwingen. Dies ist entscheidend, wenn sich das Schema ändern kann oder unbekannt ist. Pipelines können direkt auf diese Daten zugreifen, um sie bei Bedarf erneut zu verarbeiten. BigQuery ist eine Data-Warehouse-Lösung, die ein definiertes Schema erfordert und für bereits strukturierte oder semistrukturierte Daten optimiert ist, was sie für rohe, unstrukturierte Daten weniger geeignet macht. Das Speichern nur der verarbeiteten Daten verhindert den Zugriff auf die ursprünglichen Rohdaten für eine erneute Verarbeitung, was die Anforderung der Frage nicht erfüllt.