Een nieuwe app produceert tegen het einde van het jaar ongeveer 150 GB/dag aan JSON. Vereisten: ontkoppeling van producent/consument, kostenefficiënte onbeperkte ruwe opslag, bijna real-time SQL en meer dan 2 jaar SQL-querybare geschiedenis. Welke ingestie- en opslagpijplijn voldoet aan deze behoeften?

De correcte optie voldoet aan alle vereisten. Cloud Pub/Sub zorgt voor ontkoppeling van producent/consument en kan de 150 GB/dag aan JSON verwerken. Dataflow is een serverloze, schaalbare service die de JSON kan converteren naar Avro, een efficiënt formaat voor BigQuery. Het schrijven naar Cloud Storage biedt kostenefficiënte, onbeperkte ruwe opslag voor archivering. Het schrijven naar BigQuery maakt bijna real-time SQL-query's mogelijk en kan meer dan 2 jaar aan geschiedenis opslaan. De andere opties schieten tekort: Een API en poller naar Cloud Storage mist de bijna real-time SQL-querymogelijkheden en de ontkoppeling van Pub/Sub. Rechtstreeks schrijven naar Cloud SQL is niet kostenefficiënt voor 150 GB/dag ruwe JSON en schaalt minder goed voor analytische workloads dan BigQuery. Dataproc met HDFS persistent disks is minder kostenefficiënt en schaalbaar dan Dataflow voor deze specifieke taak en voegt operationele overhead toe.