Você tem 20 TB de arquivos de texto CSV e vários usuários executarão consultas agregadas usando vários mecanismos; qual serviço de armazenamento e esquema minimiza o custo da consulta?

Armazenar os arquivos CSV no Cloud Storage e expô-los como tabelas externas permanentes no BigQuery é a solução mais econômica. O Cloud Storage oferece armazenamento de baixo custo para grandes volumes de dados. O BigQuery, ao consultar dados externos, processa apenas os dados necessários, minimizando os custos de consulta. As tabelas externas permanentes permitem que vários usuários e mecanismos consultem os dados de forma consistente sem a necessidade de ingestão. Armazenar no Cloud Bigtable é mais caro e otimizado para cargas de trabalho de baixa latência e alto throughput, não para consultas agregadas ad-hoc em arquivos CSV. Consultar com o shell HBase é menos eficiente e escalável para múltiplos usuários. Tabelas temporárias no BigQuery exigem recriação a cada sessão, o que é ineficiente para acesso frequente e multiusuário.