Die Migration eines lokalen Hadoop-Clusters zu Dataproc würde 50 TB Persistent Disk pro Knoten erfordern, und der CIO ist besorgt über die Kosten für Blockspeicher. Wie minimieren Sie die Speicherkosten für die Migration?

Das Ablegen der Daten in Google Cloud Storage (GCS) ist die kostengünstigste Lösung, da GCS ein hochskalierbarer und langlebiger Objektspeicher ist, der deutlich günstiger ist als Persistent Disk. Dataproc kann direkt auf Daten in GCS zugreifen, wodurch die Notwendigkeit großer und teurer Persistent Disks auf den Knoten entfällt. Präemptive VMs reduzieren zwar die Rechenkosten, nicht aber die Speicherkosten für Persistent Disks. Das Optimieren des Clusters für gerade genug Speicherplatz löst das Problem der hohen Kosten für 50 TB Persistent Disk pro Knoten nicht, da diese Menge immer noch teuer wäre. Das Migrieren nur eines Teils der kalten Daten reduziert die Kosten nur teilweise und erfordert weiterhin erhebliche Persistent Disk-Kapazität für die heißen Daten.