Monitore as consultas do BigQuery em tempo quase real para identificar as consultas mais caras e quais usuários incorrem em custos. Qual abordagem oferece isso?

A abordagem correta é criar um sink do Cloud Logging para exportar logs de acesso a dados do BigQuery para o BigQuery. Esses logs contêm informações detalhadas sobre cada consulta, incluindo o usuário que a executou e os recursos consumidos (bytes processados, slots usados). Ao consultar essa tabela de logs no BigQuery, você pode analisar as consultas em tempo quase real, identificar as mais caras e atribuir custos aos usuários. Rotular conjuntos de dados por usuário e usar relatórios de faturamento não oferece granularidade por consulta e não é em tempo quase real. Exportar logs para o Cloud Storage e usar o Dataflow é uma solução mais complexa e com maior latência para análise quase em tempo real. Habilitar a exportação de faturamento para o BigQuery fornece dados de custo agregados, mas não detalhes por consulta em tempo quase real para identificar as consultas mais caras individualmente.