Ein wöchentlicher Dataproc Spark-Job läuft etwa 30 Minuten lang auf einem 15-Knoten-Cluster und schreibt Ergebnisse in BigQuery. Wie sollten Sie angesichts dieses Profils die Clusterkosten optimieren?

Präemptible VMs (Preemptible Virtual Machines) sind eine kostengünstige Option für fehlertolerante Workloads wie Spark-Jobs, da sie bis zu 80 % günstiger sind als reguläre VMs. Da der Job wöchentlich läuft und 30 Minuten dauert, ist die Wahrscheinlichkeit einer Unterbrechung gering und der Job kann bei Bedarf neu gestartet werden, was die Kosten erheblich senkt. Die Migration zu Cloud Dataflow wäre eine Neuentwicklung und nicht primär eine Kostenoptimierung für einen bestehenden Dataproc-Job. Knoten mit mehr Arbeitsspeicher oder SSDs würden die Kosten erhöhen, anstatt sie zu optimieren, obwohl sie die Leistung verbessern könnten.