Vous avez besoin d'un environnement d'analyse rentable pour que les scientifiques des données puissent interroger des fichiers ORC avec un partitionnement de style Hive en utilisant SQL, sans affecter Hive sur site. Que devriez-vous faire ?

La bonne réponse est de copier les fichiers ORC sur Cloud Storage, puis de créer des tables BigQuery externes. Cette approche est rentable car elle utilise BigQuery, un service sans serveur qui ne nécessite pas de gestion d'infrastructure, et permet d'interroger directement les données stockées dans Cloud Storage sans les importer. Les tables externes BigQuery prennent en charge les fichiers ORC et le partitionnement de style Hive, répondant ainsi aux exigences des scientifiques des données. De plus, cela n'affecte pas Hive sur site, car les données sont copiées. Importer les fichiers ORC dans des tables Bigtable n'est pas idéal car Bigtable est une base de données NoSQL conçue pour les charges de travail opérationnelles, et non pour l'analyse SQL ad hoc. Importer les fichiers ORC dans des tables BigQuery fonctionnerait, mais ce serait moins rentable que les tables externes car cela impliquerait le stockage des données dans BigQuery, ce qui peut être plus cher que Cloud Storage pour de grands volumes de données. Déployer un cluster Dataproc serait une solution viable, mais elle serait plus coûteuse et plus complexe à gérer qu'une solution BigQuery sans serveur.