Dataproc 클러스터를 관리하고 있으며, 비용을 최소화하고 진행 중인 작업을 보존하면서 작업 완료 시간을 단축해야 합니다. 어떤 변경을 하시겠습니까?

비용을 최소화하면서 작업 완료 시간을 단축하려면 선점형(preemptible) 워커 노드를 추가하여 클러스터 크기를 늘리는 것이 효과적입니다. 선점형 노드는 일반 노드보다 비용이 저렴하지만, 언제든지 회수될 수 있습니다. 작업을 보존하기 위해서는 선점형 노드가 회수되기 전에 현재 진행 중인 작업을 안전하게 완료할 수 있도록 유예 서비스 해제(graceful decommissioning)를 사용하도록 구성해야 합니다. 이를 통해 노드가 회수되기 전에 작업이 다른 노드로 이전되거나 완료될 시간을 확보하여 작업 손실을 방지하고 안정성을 유지할 수 있습니다. 선점 불가능한 워커를 늘리는 것은 비용을 최소화한다는 목표와 맞지 않습니다. 강제 서비스 해제는 작업 보존을 어렵게 하며, Cloud Stackdriver를 이용한 스크립트 트리거는 유예 서비스 해제보다 복잡하고 비효율적입니다.