Você carrega em lote centenas de milhares de postagens de mídia social diariamente, as executa através do Cloud Natural Language para extrair tópicos e sentimentos, armazena as postagens brutas para arquivamento/reprocessamento e cria painéis para usuários internos e externos. Como você deve armazenar os dados brutos e extraídos com o menor custo e o menor número de etapas?

A opção correta é armazenar as postagens brutas de mídia social no Cloud Storage e gravar os dados extraídos da API no BigQuery. O Cloud Storage é ideal para armazenamento de baixo custo de grandes volumes de dados brutos para arquivamento e reprocessamento, pois oferece durabilidade e escalabilidade ilimitadas. O BigQuery é um data warehouse sem servidor e altamente escalável, perfeito para armazenar os dados estruturados extraídos (tópicos, sentimentos) e para criar painéis analíticos de forma eficiente, com consultas rápidas e baixo custo por TB. Armazenar tudo no BigQuery seria mais caro para os dados brutos e menos flexível para reprocessamento de dados não estruturados. Armazenar no Cloud SQL não é adequado para centenas de milhares de postagens diárias devido à sua natureza transacional e limites de escalabilidade, além de ser mais caro para grandes volumes de dados brutos. Alimentar diretamente da fonte não aborda o requisito de armazenamento dos dados brutos para arquivamento e reprocessamento.