Która usługa i podejście do skalowania powinny zostać wybrane dla potoku, który odczytuje dane JSON z Pub/Sub, przekształca je i zapisuje do BigQuery przy minimalnych kosztach i automatycznej obsłudze zmiennej objętości danych wejściowych?

Poprawna odpowiedź to użycie Cloud Dataflow do transformacji, monitorowanie zaległości zadań za pomocą Stackdriver i wykorzystanie domyślnego autoskalowania dla instancji roboczych. Dataflow jest w pełni zarządzaną usługą do przetwarzania strumieniowego i wsadowego, która natywnie integruje się z Pub/Sub i BigQuery. Jego wbudowane autoskalowanie automatycznie dostosowuje zasoby do zmiennej objętości danych wejściowych, minimalizując koszty i wysiłek operacyjny. Monitorowanie zaległości zadań w Stackdriver (obecnie Cloud Monitoring) jest kluczowe do oceny wydajności potoku. Pozostałe opcje są mniej optymalne: Użycie Cloud Dataproc z ręcznym skalowaniem lub diagnostyką i ręcznym dostosowywaniem zasobów wymaga znacznie większego nakładu pracy operacyjnej i nie jest tak efektywne kosztowo ani elastyczne w reagowaniu na zmienną objętość danych jak Dataflow z autoskalowaniem. Monitorowanie całkowitego czasu wykonania dla próbkowanych zadań i konfiguracja niestandardowych typów maszyn Compute Engine w Dataflow jest zbyt skomplikowane i niepotrzebne w przypadku domyślnego autoskalowania, które zazwyczaj jest wystarczające i bardziej efektywne.