Una nuova app produrrà circa 150 GB/giorno di JSON entro la fine dell'anno. Requisiti: disaccoppiare produttore/consumatore, storage raw indefinito ed economico, SQL quasi in tempo reale e oltre 2 anni di cronologia interrogabile tramite SQL. Quale pipeline di ingestion e storage soddisfa queste esigenze?

Questa opzione è la migliore perché Cloud Pub/Sub disaccoppia produttore e consumatore, gestendo picchi di traffico. Dataflow fornisce una soluzione serverless per l'elaborazione dei dati in streaming, convertendo JSON in Avro per un formato più efficiente. Scrivere su Cloud Storage offre archiviazione raw economica e indefinita, mentre BigQuery abilita query SQL quasi in tempo reale e la conservazione della cronologia per oltre due anni. Le altre opzioni presentano delle carenze: L'API con Cloud Storage non offre SQL quasi in tempo reale e richiede un poller manuale. Scrivere direttamente su Cloud SQL non è scalabile per 150 GB/giorno e l'esportazione periodica non soddisfa il requisito "quasi in tempo reale". Dataproc con HDFS introduce complessità di gestione dell'infrastruttura e costi maggiori rispetto a Dataflow serverless.