As consultas de visualização no BigQuery usam junções externas e funções analíticas e podem usar dados com até 4 horas de defasagem. Os usuários consideram as consultas lentas. Melhore o desempenho das consultas minimizando a manutenção do pipeline. O que você faz?

A opção correta é criar visualizações materializadas com allownonincrementaldefinition=true, maxstaleness=4 hours e enablerefresh=true, e apontar a ferramenta de visualização para elas. Isso permite que a visualização materializada seja criada a partir de consultas complexas (junções externas e funções analíticas) e garante que os dados estejam atualizados dentro do limite de 4 horas de defasagem, melhorando o desempenho sem exigir manutenção manual do pipeline. As visualizações padrão não melhoram o desempenho, pois são apenas atalhos para a consulta subjacente. Exportar para Parquet via Cloud Function e Cloud Scheduler adiciona complexidade e manutenção ao pipeline, além de não ser uma solução nativa e otimizada para BigQuery. As atualizações incrementais de visualizações materializadas são ideais, mas a consulta original usa junções externas e funções analíticas, o que impede o uso de atualizações incrementais automáticas sem allownonincrementaldefinition=true para consultas não incrementais.