Você executa um cluster GKE que atende a várias equipes. A equipe de ML precisa de GPUs Nvidia Tesla P100 para treinamento de modelo com o mínimo de esforço e custo. O que você deve fazer?

Adicionar um pool de nós habilitado para GPU ao cluster GKE existente é a solução mais eficiente e econômica. Isso permite que o cluster continue atendendo a outras equipes sem GPUs, enquanto fornece recursos dedicados para a equipe de ML. O nodeSelector garante que os pods de ML sejam agendados apenas nos nós com GPUs, otimizando o uso de recursos e evitando custos desnecessários. Pedir à equipe de ML para adicionar uma anotação accelerator: gpu não é suficiente, pois o GKE não provisiona GPUs automaticamente com base apenas em anotações. Recriar cada nó para habilitar GPUs em todos os nós seria caro e ineficiente, pois nem todos os pods precisam de GPUs. Criar um cluster separado no Compute Engine com nós habilitados para GPU aumentaria a sobrecarga de gerenciamento e o custo, sendo desnecessário quando um pool de nós pode ser adicionado ao cluster existente.