Armazenar séries temporais de CPU e memória por segundo para milhões de máquinas com análises ad-hoc em tempo real, baixo custo por consulta e esquema escalável. Qual banco de dados e modelo de dados você escolheria?

A opção correta é criar uma tabela Bigtable "narrow" com chaves de linha combinando o identificador da VM e o timestamp por segundo. O Bigtable é ideal para séries temporais devido à sua alta taxa de ingestão e consulta de dados, baixa latência e escalabilidade. Uma chave de linha composta por VM ID e timestamp por segundo garante distribuição uniforme dos dados e acesso eficiente a pontos específicos no tempo. O modelo "narrow" (muitas linhas, poucas colunas) é mais adequado para séries temporais, pois cada amostra de CPU/memória se torna uma linha ou parte de uma linha, otimizando a leitura e escrita. Anexar amostras a uma tabela BigQuery não é ideal para ingestão de alta frequência por segundo e análises ad-hoc em tempo real, pois o BigQuery é otimizado para análises em larga escala, mas com latência maior para ingestão e consultas pontuais. Criar uma tabela BigQuery "wide" com uma coluna para cada segundo resultaria em um esquema muito grande e ineficiente. Uma tabela Bigtable "wide" com chave VM+timestamp por minuto e amostras por segundo como colunas limitaria a granularidade e tornaria as consultas por segundo menos eficientes.