Codziennie wsadowo ładujesz setki tysięcy postów z mediów społecznościowych, przetwarzasz je za pomocą Cloud Natural Language w celu wyodrębnienia tematów i sentymentu, przechowujesz surowe posty do archiwizacji/ponownego przetwarzania oraz tworzysz pulpity nawigacyjne dla użytkowników wewnętrznych i zewnętrznych. Jak powinieneś przechowywać surowe i wyodrębnione dane przy najniższych kosztach i najmniejszej liczbie kroków?

Prawidłowa odpowiedź to przechowywanie surowych postów z mediów społecznościowych w Cloud Storage i zapisywanie danych wyodrębnionych z API w BigQuery. Cloud Storage jest ekonomicznym rozwiązaniem do przechowywania dużych ilości surowych danych do archiwizacji i ponownego przetwarzania, oferując niskie koszty i wysoką skalowalność. BigQuery jest zoptymalizowany do analityki dużych zbiorów danych, co czyni go idealnym do przechowywania przetworzonych danych i tworzenia pulpitów nawigacyjnych. Przechowywanie wszystkiego w BigQuery byłoby droższe dla surowych danych, które nie wymagają natychmiastowej analizy. Cloud SQL nie jest przeznaczony do obsługi tak dużych wolumenów danych wsadowych ani do analityki na dużą skalę. Przekazywanie postów bezpośrednio do API bez przechowywania surowych danych uniemożliwiłoby archiwizację i ponowne przetwarzanie.