Um novo aplicativo produz aproximadamente 150 GB/dia de JSON até o final do ano. Requisitos: desacoplar produtor/consumidor, armazenamento bruto indefinido e econômico, SQL quase em tempo real e mais de 2 anos de histórico consultável por SQL. Qual pipeline de ingestão e armazenamento atende a essas necessidades?

A opção correta atende a todos os requisitos. O Cloud Pub/Sub desacopla produtor/consumidor e gerencia o volume de dados. O Dataflow processa os 150 GB/dia de JSON, convertendo para Avro (formato eficiente) e escrevendo no Cloud Storage (armazenamento bruto indefinido e econômico) e no BigQuery (SQL quase em tempo real e histórico consultável por SQL). As outras opções são inadequadas: A API com poller e Cloud Storage não oferece SQL quase em tempo real nem histórico consultável por SQL diretamente. Escrever diretamente no Cloud SQL não é escalável para 150 GB/dia e a exportação para BigQuery seria um processo manual e menos eficiente. Dataproc com HDFS em discos persistentes é uma solução mais complexa e cara para este caso, e o HDFS não é um armazenamento bruto indefinido e econômico nativo da nuvem.