Concevez un système de traitement de données historiques natif du cloud : données au format CSV, Avro, PDF ; accédées par Dataproc, BigQuery, Compute Engine ; ingestion quotidienne par lots ; les performances ne sont pas critiques ; maximiser la disponibilité. Comment devriez-vous stocker les données ?

La bonne réponse est de stocker les données dans un bucket Cloud Storage multirégional et d'y accéder directement. Cloud Storage offre une durabilité et une disponibilité élevées, essentielles lorsque les performances ne sont pas critiques mais que la disponibilité l'est. Un bucket multirégional maximise la disponibilité en répliquant les données sur plusieurs régions. Cloud Storage est un lac de données idéal pour divers formats (CSV, Avro, PDF) et est nativement intégré à Dataproc, BigQuery et Compute Engine, permettant un accès direct et efficace. Les autres options sont moins optimales : Un cluster Dataproc avec HDFS n'est pas une solution de stockage native du cloud pour les données historiques et ne maximise pas la disponibilité de la même manière que Cloud Storage. BigQuery est un entrepôt de données analytique, pas un lac de données pour tous les formats bruts, et son coût peut être plus élevé pour le stockage de données brutes non structurées. Un bucket Cloud Storage régional offre une bonne disponibilité mais pas la disponibilité maximale d'un bucket multirégional.