Vous avez 20 To de fichiers texte CSV et plusieurs utilisateurs exécuteront des requêtes d'agrégation à l'aide de divers moteurs ; quel service de stockage et quel schéma minimisent le coût des requêtes ?

La bonne réponse est de stocker les données dans Cloud Storage et de les exposer en tant que tables externes permanentes dans BigQuery. Cloud Storage est une solution de stockage d'objets très rentable et évolutive, idéale pour les grands volumes de données non structurées comme les fichiers CSV. L'exposition en tant que tables externes permanentes dans BigQuery permet d'interroger directement ces données sans les importer, ce qui réduit les coûts de stockage BigQuery et offre la flexibilité d'utiliser divers moteurs via BigQuery. Stocker dans Cloud Bigtable n'est pas optimal pour les fichiers CSV et les requêtes d'agrégation ad hoc, car Bigtable est une base de données NoSQL clé-valeur conçue pour les charges de travail opérationnelles à faible latence, non pour l'analyse de données massives. L'utilisation de tables temporaires dans BigQuery nécessiterait de recréer la définition de la table à chaque session, ce qui est inefficace et coûteux pour des requêtes fréquentes par plusieurs utilisateurs.