Você tem três anos de dados históricos no BigQuery e uma ingestão diária. As consultas filtradas para os últimos 30 a 90 dias ainda fazem a varredura de toda a tabela, aumentando o custo. Qual é a correção mais econômica, mantendo o acesso SQL?

A partição de tabelas por uma coluna TIMESTAMP ou DATE no BigQuery é a solução mais econômica e eficiente. Ao particionar, o BigQuery pode eliminar automaticamente partições que não correspondem aos filtros de data da sua consulta, escaneando apenas os dados relevantes. Isso reduz significativamente a quantidade de dados processados e, consequentemente, os custos. Exportar para CSV e usar o Cloud Datalab (agora notebooks do AI Platform) não é uma solução escalável ou econômica para acesso SQL contínuo e interativo, além de introduzir complexidade e latência. Manter dados em tabelas separadas para diferentes períodos exige gerenciamento manual e consultas mais complexas (com UNION ALL), o que não é ideal. Criar uma tabela por dia com Apache Beam e usar curingas é uma forma de particionamento manual, mas o particionamento nativo do BigQuery é mais eficiente, gerenciado e otimizado para esse cenário.