Você gerencia um cluster Dataproc e precisa de uma conclusão de job mais rápida, minimizando custos e preservando o trabalho em andamento. Que alteração você faria?

Aumentar o tamanho do cluster com nós de worker preemptivos e configurá-los para usar a desativação graciosa é a melhor opção. Workers preemptivos são mais baratos e podem ser adicionados rapidamente para acelerar o processamento. A desativação graciosa (graceful decommissioning) garante que as tarefas em andamento nesses workers sejam concluídas ou migradas para outros nós antes que o worker seja desligado, preservando o trabalho e evitando perdas de dados. Aumentar com workers não preemptivos (opção 1) é mais caro. A desativação forçada (opção 2) pode levar à perda de trabalho. Usar o Stackdriver para um script (opção 3) é uma solução complexa e menos eficiente do que a desativação graciosa nativa do Dataproc.