Gestisci un cluster Dataproc e hai bisogno di un completamento più rapido dei job, riducendo al minimo i costi e preservando il lavoro in corso. Quale modifica apporti?

L'opzione corretta è aumentare la dimensione del cluster con nodi worker preemptible e configurarli per utilizzare la disattivazione graduale. I nodi preemptible sono significativamente più economici e, sebbene possano essere terminati da Google Cloud, la disattivazione graduale (graceful decommissioning) consente ai nodi di completare le attività in corso prima di spegnersi, preservando così il lavoro e riducendo al minimo l'impatto sui job. Le altre opzioni sono meno ideali: Aumentare i worker non preemptible aumenterebbe i costi in modo significativo, contraddicendo l'obiettivo di minimizzare i costi. Configurare la disattivazione forzata dei nodi preemptible causerebbe la perdita del lavoro in corso, poiché i nodi verrebbero terminati immediatamente senza completare le attività. Usare Cloud Stackdriver per attivare uno script per preservare il lavoro è una soluzione complessa e meno efficiente rispetto alla funzionalità integrata di disattivazione graduale offerta da Dataproc.