Sie benötigen einen Dienst zur Verarbeitung von stündlichen Batch-Jobs und Echtzeit-Stream-Verarbeitung für eingehende Betriebsdaten, ohne vorhandenen Analysecode. Welche Google Cloud-Technologie sollten Sie verwenden?

Google Cloud Dataflow ist die beste Wahl, da es ein vollständig verwalteter Dienst ist, der sowohl Batch- als auch Stream-Verarbeitung mit einem einzigen Programmiermodell (Apache Beam) unterstützt. Dies ermöglicht die Wiederverwendung von Code und vereinfacht die Entwicklung, insbesondere wenn kein vorhandener Analysecode vorhanden ist. Google Cloud Dataproc ist ein verwalteter Apache Hadoop- und Spark-Dienst. Obwohl er Batch-Verarbeitung unterstützt, ist er weniger ideal für die Echtzeit-Stream-Verarbeitung und erfordert mehr Konfigurationsaufwand als Dataflow. Google Container Engine (jetzt Google Kubernetes Engine) mit Bigtable ist eine Plattform zur Orchestrierung von Containern. Sie bietet zwar Flexibilität, erfordert aber die manuelle Implementierung der Verarbeitungslogik und des Streamings, was komplexer ist als Dataflow. Bigtable ist eine NoSQL-Datenbank, keine Verarbeitungs-Engine. Google Compute Engine mit Google BigQuery würde bedeuten, dass Sie die Verarbeitungs-Engines selbst auf virtuellen Maschinen installieren und verwalten müssten. BigQuery ist ein Data Warehouse für Analysen, keine Verarbeitungs-Engine für Batch- oder Stream-Verarbeitung.