Sie erwarten einen starken Anstieg von Spark- und Hadoop-Jobs aus einem lokalen Rechenzentrum und möchten Cloud-Skalierung mit minimalem Betriebsaufwand und Codeänderungen. Welches Produkt sollten Sie verwenden?

Google Cloud Dataproc ist ein verwalteter Dienst für Apache Spark- und Hadoop-Cluster. Er ermöglicht es Ihnen, bestehende Spark- und Hadoop-Workloads ohne Codeänderungen in die Cloud zu migrieren und von der automatischen Skalierung zu profitieren, was den Betriebsaufwand minimiert. Google Cloud Dataflow ist ein verwalteter Dienst für die Ausführung von Apache Beam-Pipelines und erfordert in der Regel Codeänderungen für Spark/Hadoop-Jobs. Google Compute Engine bietet zwar virtuelle Maschinen, erfordert aber die manuelle Einrichtung und Verwaltung von Spark/Hadoop-Clustern. Google Kubernetes Engine ist eine Plattform für containerisierte Anwendungen, aber die Bereitstellung und Verwaltung von Spark/Hadoop-Clustern darauf wäre komplexer als mit Dataproc.