Eine neue App produziert bis zum Jahresende täglich ca. 150 GB JSON. Anforderungen: Entkopplung von Producer/Consumer, kostengünstige unbegrenzte Rohdatenspeicherung, nahezu Echtzeit-SQL und über 2 Jahre SQL-abfragbare Historie. Welche Ingestion- und Speicher-Pipeline erfüllt diese Anforderungen?

Diese Option erfüllt alle Anforderungen optimal. Cloud Pub/Sub entkoppelt Producer und Consumer und ermöglicht eine skalierbare Ingestion. Dataflow bietet eine verwaltete, nahezu Echtzeit-Verarbeitung zur Konvertierung von JSON in Avro, was für BigQuery effizienter ist. Cloud Storage bietet kostengünstige, unbegrenzte Rohdatenspeicherung. BigQuery ermöglicht nahezu Echtzeit-SQL-Abfragen und speichert die Historie über zwei Jahre hinweg. Die anderen Optionen sind weniger geeignet: Eine API mit Poller ist ineffizient und skaliert schlechter für 150 GB/Tag. Direktes Schreiben in Cloud SQL ist für große Mengen unstrukturierter JSON-Daten nicht ideal und die periodische Übertragung zu BigQuery ist komplexer und weniger "nahezu Echtzeit". Dataproc mit HDFS ist teurer, komplexer zu verwalten und weniger serverlos als Dataflow für diesen Anwendungsfall.