È necessario un servizio per gestire sia i job batch orari che l'elaborazione di stream in tempo reale per i dati operativi in ingresso, senza codice di analisi esistente. Quale tecnologia Google Cloud dovresti usare?

Google Cloud Dataflow è la scelta migliore perché è un servizio completamente gestito che supporta sia l'elaborazione batch (per i job orari) che lo streaming (per i dati in tempo reale) tramite un'unica API unificata (Apache Beam). Questo elimina la necessità di scrivere codice di analisi separato per i due paradigmi. Google Cloud Dataproc è un servizio gestito per Apache Spark e Hadoop, ideale per carichi di lavoro esistenti, ma richiederebbe la gestione di cluster e non offre la stessa unificazione per batch e streaming di Dataflow. Google Container Engine (ora GKE) con Bigtable è una soluzione basata su container che offre flessibilità ma richiederebbe la scrittura e la gestione di codice per l'elaborazione di batch e stream, oltre alla gestione dell'infrastruttura. Google Compute Engine con Google BigQuery è una combinazione di IaaS e un data warehouse analitico; Compute Engine richiederebbe la gestione completa dell'infrastruttura e del codice di elaborazione, mentre BigQuery è ottimizzato per l'analisi e non per l'elaborazione di stream in tempo reale o l'esecuzione di job batch complessi senza un motore di elaborazione dedicato.