Cotygodniowe zadanie Dataproc Spark trwa około 30 minut na klastrze 15 węzłów i zapisuje wyniki w BigQuery. Jak zoptymalizować koszt klastra, biorąc pod uwagę ten profil?

Poprawna odpowiedź to użycie maszyn wirtualnych z wywłaszczaniem (preemptible VMs) dla klastra Dataproc. Zadanie jest cotygodniowe i trwa tylko 30 minut, co oznacza, że klaster jest używany sporadycznie. Maszyny z wywłaszczaniem są znacznie tańsze niż standardowe maszyny wirtualne i są idealne dla zadań, które mogą tolerować sporadyczne przerwania lub które można łatwo wznowić, jak w przypadku zadań Spark na Dataproc. Migracja do Cloud Dataflow mogłaby obniżyć koszty, ale jest to znacząca zmiana architektoniczna, która wykracza poza optymalizację istniejącego rozwiązania Dataproc. Użycie węzłów z większą pamięcią lub dołączenie dysków SSD mogłoby przyspieszyć zadanie, ale zwiększyłoby koszt jednostkowy węzłów, a niekoniecznie obniżyło całkowity koszt, zwłaszcza że zadanie już jest krótkie.