Usted carga por lotes cientos de miles de publicaciones de redes sociales diariamente, las procesa con Cloud Natural Language para extraer temas y sentimientos, almacena las publicaciones sin procesar para archivarlas/reprocesarlas y crea paneles para usuarios internos y externos. ¿Cómo debe almacenar los datos sin procesar y extraídos al menor costo y con la menor cantidad de pasos?

La opción correcta es almacenar las publicaciones sin procesar en Cloud Storage y los datos extraídos en BigQuery. Cloud Storage es ideal para almacenar grandes volúmenes de datos brutos a bajo costo, como las publicaciones de redes sociales, y ofrece durabilidad y escalabilidad. BigQuery es un almacén de datos sin servidor y altamente escalable, perfecto para analizar los datos estructurados extraídos (temas y sentimientos) y crear paneles. Almacenar todo en BigQuery sería más costoso para los datos brutos no estructurados y menos eficiente para el almacenamiento a largo plazo. Cloud SQL no es adecuado para volúmenes masivos de datos no estructurados o para análisis a gran escala. Alimentar los datos directamente a la API sin un almacenamiento intermedio de los datos brutos impediría el archivo y reprocesamiento posterior, lo cual es un requisito del problema.