여러 팀에 서비스를 제공하는 GKE 클러스터를 운영하고 있습니다. ML 팀은 최소한의 노력과 비용으로 모델 학습을 위해 Nvidia Tesla P100 GPU가 필요합니다. 어떻게 해야 할까요?

기존 GKE 클러스터에 GPU 노드 풀을 추가하고 ML 팀이 nodeSelector를 사용하도록 하면, ML 팀은 필요한 GPU 리소스를 효율적으로 사용할 수 있으며, 다른 팀의 워크로드에는 영향을 주지 않습니다. 이는 비용 효율적이며 관리 오버헤드를 최소화합니다. ML 팀에 accelerator: gpu 어노테이션을 추가하도록 요청하는 것은 일반적인 GPU 요청 방식이지만, 특정 GPU 모델을 지정할 수 없고, 클러스터에 해당 GPU가 없으면 실패합니다. 모든 노드에서 GPU를 활성화하도록 클러스터의 모든 노드를 다시 생성하는 것은 불필요하게 비용이 많이 들고, 다른 워크로드에 영향을 줄 수 있습니다. GPU가 활성화된 노드로 별도의 Kubernetes 클러스터를 생성하는 것은 관리 오버헤드가 증가하고 리소스 활용도가 낮아질 수 있습니다.