Um job semanal do Dataproc Spark é executado por aproximadamente 30 minutos em um cluster de 15 nós e grava os resultados no BigQuery. Como você deve otimizar o custo do cluster, dado este perfil?

Para um job semanal de 30 minutos, o uso de VMs preemptivas no Dataproc é a otimização de custo mais eficaz. VMs preemptivas são significativamente mais baratas que as VMs padrão e, para workloads tolerantes a falhas e de curta duração como esta, o risco de serem preemptadas é aceitável e o impacto mínimo. Migrar para o Cloud Dataflow pode ser uma otimização de custo a longo prazo para workloads contínuas ou muito complexas, mas para um job semanal de 30 minutos, a sobrecarga de refatoração pode não justificar o benefício. Usar nós com mais memória ou anexar SSDs visam melhorar o desempenho, não necessariamente o custo, e podem até aumentar o custo se não forem estritamente necessários para a conclusão do job dentro do SLA.