Vous devez stocker des données sources brutes et non structurées exactement telles qu'elles ont été récupérées (le schéma peut changer) pour un retraitement ultérieur. Où devez-vous placer les données brutes et comment les pipelines doivent-ils y accéder ?

La meilleure approche est de stocker les données brutes dans un bucket Cloud Storage. Cloud Storage est idéal pour les données non structurées et les schémas changeants, car il s'agit d'un stockage d'objets sans schéma fixe. Les pipelines de traitement peuvent ensuite accéder directement à ces données depuis le bucket pour le retraitement. Stocker les données dans BigQuery n'est pas optimal pour les données brutes et non structurées avec des schémas changeants, car BigQuery est une base de données analytique structurée qui nécessite un schéma défini. Envoyer les données via le pipeline de traitement avant de les stocker (que ce soit dans BigQuery ou Cloud Storage) signifie que vous stockez déjà des données traitées, et non les données brutes d'origine requises pour un retraitement flexible.