Sie müssen einen 30-Knoten-Hadoop-Cluster in die Cloud migrieren, bestehende Hadoop-Jobs wiederverwenden, die Clusterverwaltung minimieren und Daten über die Lebensdauer des Clusters hinaus speichern. Was sollten Sie tun?

Die Erstellung eines Cloud Dataproc-Clusters mit dem Google Cloud Storage (GCS)-Konnektor ist die beste Lösung. Dataproc ermöglicht die Wiederverwendung bestehender Hadoop-Jobs und minimiert den Verwaltungsaufwand durch einen verwalteten Dienst. Die Verwendung von GCS als Speicher entkoppelt die Daten vom Cluster, was bedeutet, dass die Daten über die Lebensdauer des Clusters hinaus bestehen bleiben, selbst wenn der Cluster beendet wird. GCS bietet zudem hohe Skalierbarkeit und Haltbarkeit. Ein Google Cloud Dataflow-Job ist für die Verarbeitung von Daten geeignet, aber nicht für die Wiederverwendung bestehender Hadoop-Jobs im ursprünglichen Format. Ein Dataproc-Cluster mit Persistent Disks für HDFS würde die Daten an den Cluster binden und erfordert mehr Verwaltungsaufwand für die Persistenz. Ein Hadoop-Cluster auf Compute Engine erfordert erheblichen Verwaltungsaufwand. Die Verwendung von Local SSDs auf Compute Engine ist für temporäre Daten geeignet, aber nicht für die dauerhafte Speicherung über die Cluster-Lebensdauer hinaus, da Local SSDs flüchtig sind.