Data Scientists benötigen gelegentlich GPU-Knoten in einem GKE-Cluster für langlaufende, nicht neustartbare Jobs. Minimieren Sie die Kosten und erfüllen Sie gleichzeitig diese Anforderung. Was sollten Sie tun?

Die automatische Knotenbereitstellung (Node Auto-Provisioning) in GKE ist die beste Lösung, da sie dynamisch Knotenpools mit GPUs erstellt und löscht, wenn Workloads sie benötigen. Dies minimiert die Kosten, da GPU-Ressourcen nur dann bereitgestellt werden, wenn sie tatsächlich genutzt werden, und nicht dauerhaft vorgehalten werden. Da die Jobs langlaufend und nicht neustartbar sind, ist es wichtig, dass die Knoten während der Ausführung nicht unterbrochen werden, was bei präemptiven VMs der Fall wäre. Ein Vertical Pod Autoscaler passt die Ressourcen innerhalb eines Pods an, nicht die Knotenanzahl. Ein Knotenpool mit präemptiven VMs und GPUs wäre kostengünstig, aber ungeeignet für nicht neustartbare Jobs, da präemptive VMs jederzeit beendet werden können. Ein Knotenpool mit GPUs und Autoscaling mit einer Mindestgröße von 1 würde zwar skalieren, aber auch dann Kosten verursachen, wenn keine Jobs laufen, da immer mindestens ein GPU-Knoten aktiv wäre.