Você tem um arquivo AVRO de 5 TB no Cloud Storage. Os analistas só conhecem SQL e precisam de acesso o mais rápido possível e de forma econômica. O que você deve fazer?

A opção correta é criar tabelas externas do BigQuery que referenciam o arquivo AVRO no Cloud Storage. Isso permite que os analistas consultem os dados diretamente usando SQL, sem a necessidade de carregar ou transformar os dados, o que é rápido e econômico. O BigQuery é otimizado para grandes volumes de dados e oferece uma interface SQL familiar. Carregar os dados no Cloud Datastore não é ideal porque o Datastore é um banco de dados NoSQL, não suportando consultas SQL diretamente, e não é a ferramenta mais adequada para análise de grandes volumes de dados tabulares. Carregar os dados no BigQuery e depois descartar a tabela é uma opção, mas criar uma tabela externa é mais eficiente e econômico, pois evita o custo de armazenamento dos dados no BigQuery e o tempo de carregamento inicial. Criar um cluster Hadoop é excessivamente complexo e caro para este caso de uso, exigindo gerenciamento de infraestrutura e etapas adicionais de processamento que o BigQuery pode lidar de forma mais simples e sem servidor.