Nowa aplikacja generuje około 150 GB danych JSON dziennie do końca roku. Wymagania: oddzielenie producenta od konsumenta, ekonomiczne, nieograniczone przechowywanie surowych danych, SQL w czasie zbliżonym do rzeczywistego oraz ponad 2 lata historii dostępnej do zapytań SQL. Który potok pozyskiwania i przechowywania danych spełnia te potrzeby?

Poprawna odpowiedź to publikowanie zdarzeń w Cloud Pub/Sub i użycie potoku Dataflow do konwersji JSON na Avro, zapisując do Cloud Storage i BigQuery. Ta opcja spełnia wszystkie wymagania: Oddzielenie producenta od konsumenta: Cloud Pub/Sub zapewnia asynchroniczną komunikację. Ekonomiczne i nieograniczone przechowywanie surowych danych: Cloud Storage oferuje skalowalne i ekonomiczne przechowywanie. SQL w czasie zbliżonym do rzeczywistego i ponad 2 lata historii: BigQuery jest idealny do analityki w czasie zbliżonym do rzeczywistego na dużych zbiorach danych, z możliwością przechowywania historii przez wiele lat. Konwersja JSON na Avro: Dataflow efektywnie przetwarza i konwertuje dane, a Avro jest formatem zoptymalizowanym pod kątem BigQuery. Pozostałe opcje są mniej odpowiednie: API i poller: Polling jest mniej efektywny i nie zapewnia oddzielenia producenta od konsumenta w czasie rzeczywistym. Cloud SQL: Cloud SQL nie jest przeznaczony do przechowywania 150 GB surowych danych dziennie i nie skaluje się tak dobrze jak BigQuery dla analityki. Dataproc z HDFS: Dataproc jest droższy i bardziej złożony w zarządzaniu niż Dataflow dla tego typu zadań, a HDFS na trwałych dyskach nie jest natywnym rozwiązaniem dla nieograniczonego przechowywania w GCP.