Vous gérez un cluster Dataproc et avez besoin d'une exécution de tâches plus rapide tout en minimisant les coûts et en préservant le travail en cours. Quelle modification apportez-vous ?

L'augmentation de la taille du cluster avec des nœuds de worker préemptibles est une solution rentable pour des exécutions de tâches plus rapides, car ils sont moins chers que les nœuds non préemptibles. La désaffectation gracieuse (graceful decommissioning) permet aux tâches en cours de se terminer avant qu'un nœud ne soit arrêté, préservant ainsi le travail et évitant les pertes de données ou les redémarrages de tâches. Les workers non préemptibles sont plus chers et ne sont pas la meilleure option pour minimiser les coûts. La désaffectation forcée interromprait immédiatement les tâches en cours, entraînant une perte de travail. L'utilisation de Cloud Stackdriver pour déclencher un script est une solution plus complexe et moins directe que la désaffectation gracieuse intégrée à Dataproc.