Migrieren Sie lokales Hadoop zu einer verwalteten, fehlertoleranten und kostengünstigen Cloud-Lösung für langlaufende Batch-Jobs. Was sollten Sie bereitstellen?

Die Migration von lokalem Hadoop zu Dataproc ist die empfohlene Methode, da Dataproc ein vollständig verwalteter, fehlertoleranter und kostengünstiger Dienst für Hadoop- und Spark-Workloads ist. Die Verwendung von Standard-Persistent Disks ist kostengünstiger als SSDs und für Batch-Jobs oft ausreichend. Präemptive Worker reduzieren die Kosten erheblich, da sie für langlaufende, fehlertolerante Batch-Jobs geeignet sind, die Unterbrechungen tolerieren können. Das Speichern von Daten in Cloud Storage und die Aktualisierung von Skripten von hdfs:// auf gs:// entkoppelt die Speicherung vom Compute, was die Skalierbarkeit und Kosten optimiert. Die Installation von Hadoop/Spark auf Compute Engine-Instanzen erfordert mehr Verwaltungsaufwand und bietet nicht die gleichen Vorteile eines verwalteten Dienstes wie Dataproc. Das Speichern von Daten in HDFS auf Compute Engine widerspricht der Cloud-Strategie, die Speicherung von der Berechnung zu entkoppeln und die Vorteile von Cloud Storage zu nutzen.