Você precisa de um pipeline para copiar dados de transações de séries temporais para o BigQuery para análise. O tamanho inicial do conjunto de dados é de 1,5 PB, crescendo 3 TB/dia; milhares de transações são atualizadas a cada hora com um novo status. Os dados são altamente estruturados e usados para ML. Para maximizar o desempenho e a usabilidade, quais duas estratégias você adota?

Desnormalizar os dados o máximo possível é crucial para o BigQuery, pois ele é otimizado para consultas analíticas em grandes volumes de dados. A desnormalização reduz junções complexas e caras, melhorando significativamente o desempenho das consultas e a usabilidade para ML, que geralmente prefere dados em formato "wide". Desenvolver um pipeline onde as atualizações de status são anexadas em vez de atualizadas é a melhor prática para dados de séries temporais no BigQuery. O BigQuery é um armazenamento colunar otimizado para anexos (append-only), e atualizações frequentes (UPDATE) são operações caras que podem impactar o desempenho e o custo. Anexar novas versões de status e usar uma view para obter o status mais recente é mais eficiente. Preservar a estrutura dos dados o máximo possível (normalização) é contraproducente para o BigQuery. Usar BigQuery UPDATE para reduzir o tamanho do conjunto de dados é incorreto; UPDATEs não reduzem o tamanho e são ineficientes para este caso de uso. Copiar um snapshot diário para o Cloud Storage e usar fontes externas não atende ao requisito de atualizações horárias e pode introduzir latência e complexidade desnecessárias para dados que serão usados para ML.