Un job Spark Dataproc hebdomadaire s'exécute pendant environ 30 minutes sur un cluster de 15 nœuds et écrit les résultats dans BigQuery. Comment optimiser le coût du cluster compte tenu de ce profil ?

L'utilisation de machines virtuelles préemptibles est la solution la plus rentable pour les charges de travail tolérantes aux pannes, comme un job Spark hebdomadaire qui dure 30 minutes. Les VM préemptibles sont nettement moins chères que les VM standards, et bien qu'elles puissent être arrêtées, la durée courte et la nature hebdomadaire du job rendent le risque acceptable. Migrer vers Cloud Dataflow pourrait être une option, mais cela impliquerait une réécriture du code et n'est pas la solution la plus simple pour optimiser les coûts d'un job Spark existant. Utiliser des nœuds avec plus de mémoire ou attacher des SSD augmenterait les coûts, car cela ne ferait qu'accélérer le job sans réduire le coût horaire des ressources, et le job est déjà court.