Je laadt dagelijks honderdduizenden socialmediapostingen in batches, verwerkt ze met Cloud Natural Language om onderwerpen en sentiment te extraheren, slaat ruwe posten op voor archivering/herverwerking, en maakt dashboards voor interne en externe gebruikers. Hoe moet je ruwe en geëxtraheerde data opslaan tegen de laagste kosten en met de minste stappen?

De correcte optie minimaliseert kosten en stappen door de juiste opslagoplossingen te kiezen. Ruwe socialmediapostingen zijn ongestructureerde data die voordelig en schaalbaar kunnen worden opgeslagen in Cloud Storage voor archivering en mogelijke herverwerking. De geëxtraheerde, gestructureerde data (onderwerpen, sentiment) zijn ideaal voor BigQuery, een serverloze, petabyte-schaal datawarehouse die geoptimaliseerd is voor snelle analyse en het bouwen van dashboards. Het opslaan van alle data in BigQuery (optie 1) zou duurder zijn voor de ruwe, ongestructureerde data die niet direct voor analyse nodig is. Cloud SQL (optie 2) is een relationele database die niet geschikt is voor de schaal en het type van deze ongestructureerde ruwe data en zou hogere operationele kosten met zich meebrengen. Rechtstreeks invoeren in de API (optie 4) slaat de ruwe data niet op voor archivering/herverwerking, wat een vereiste is.