Data scientists hebben af en toe GPU-nodes nodig op een GKE-cluster voor langlopende, niet-herstartbare jobs. Minimaliseer de kosten en voldoe tegelijkert aan deze behoefte. Wat moet je doen?

Node auto-provisioning is de meest kosteneffectieve oplossing. Het maakt automatisch nieuwe nodepools aan met de juiste machineconfiguratie (inclusief GPU's) wanneer de workloads dit vereisen, en schaalt deze weer terug naar nul wanneer ze niet meer nodig zijn. Dit minimaliseert de kosten omdat er alleen voor GPU-nodes wordt betaald wanneer ze daadwerkelijk in gebruik zijn. Een Vertical Pod Autoscaler past de resources van individuele pods aan, niet de onderliggende nodes met GPU's. Een nodepool met preemptible VM's en GPU's is goedkoper, maar preemptible VM's kunnen op elk moment worden beëindigd, wat ongeschikt is voor "niet-herstartbare" jobs. Een nodepool met GPU's en autoscaling met een minimale grootte van 1 zou onnodige kosten met zich meebrengen, omdat er altijd minimaal één GPU-node actief zou zijn, zelfs als er geen workloads zijn.