Een wekelijkse Dataproc Spark-taak draait ongeveer 30 minuten op een cluster met 15 knooppunten en schrijft resultaten naar BigQuery. Hoe optimaliseer je de clusterkosten, gezien dit profiel?

Preemptible VM's (PVM's) zijn de meest kosteneffectieve optie voor Dataproc-clusters die korte, wekelijkse taken uitvoeren. PVM's bieden aanzienlijk lagere kosten dan reguliere VM's, en voor een taak van 30 minuten is de kans op onderbreking klein genoeg om de besparingen te rechtvaardigen. Het migreren naar Cloud Dataflow is een complexere oplossing en niet per se goedkoper voor een wekelijkse taak van 30 minuten. Knooppunten met meer geheugen of SSD's kunnen de taak sneller maken, maar dit verhoogt de kosten per uur en is mogelijk niet nodig als de huidige looptijd acceptabel is. De primaire focus hier is kostenoptimalisatie voor een batchtaak die niet continu draait.