Potrzebujesz usługi do obsługi zarówno godzinowych zadań wsadowych, jak i przetwarzania strumieniowego w czasie rzeczywistym dla przychodzących danych operacyjnych, bez istniejącego kodu analitycznego. Jakiej technologii Google Cloud należy użyć?

Google Cloud Dataflow to w pełni zarządzana usługa do przetwarzania danych wsadowych i strumieniowych, oparta na Apache Beam. Jest idealna do obsługi zarówno zadań godzinowych (wsadowych), jak i przetwarzania danych w czasie rzeczywistym (strumieniowych), zwłaszcza gdy nie ma istniejącego kodu analitycznego, ponieważ Apache Beam zapewnia ujednolicony model programowania. Google Cloud Dataproc to zarządzana usługa Hadoop i Spark, bardziej odpowiednia dla istniejących obciążeń opartych na tych technologiach. Google Container Engine (obecnie Google Kubernetes Engine) z Bigtable to platforma do orkiestracji kontenerów i baza danych NoSQL, a nie bezpośrednie rozwiązanie do przetwarzania wsadowego/strumieniowego. Google Compute Engine z Google BigQuery to maszyny wirtualne i hurtownia danych, co wymagałoby ręcznego zarządzania przetwarzaniem.