주간 Dataproc Spark 작업이 15개 노드 클러스터에서 약 30분 동안 실행되고 결과를 BigQuery에 기록합니다. 이 프로필을 고려할 때 클러스터 비용을 어떻게 최적화해야 할까요?

정답은 Dataproc 클러스터에 선점형 가상 머신을 사용하는 것입니다. Dataproc은 일시적인 작업에 적합하며, 30분 동안 실행되는 주간 작업은 선점형 VM을 사용하기에 이상적인 후보입니다. 선점형 VM은 일반 VM보다 훨씬 저렴하며, 작업이 완료되면 클러스터가 종료되므로 비용 효율적입니다. 워크로드를 Cloud Dataflow로 마이그레이션하는 것은 복잡성과 추가 개발 비용을 초래할 수 있으며, 기존 Spark 작업에 비해 반드시 비용 절감 효과가 있다고 보장할 수 없습니다. 메모리가 더 높은 노드를 사용하거나 작업자 노드에 SSD를 연결하는 것은 작업 실행 시간을 단축할 수 있지만, 이는 비용을 증가시키는 요인이 됩니다. 문제의 목표는 비용 최적화이므로, 성능 향상보다는 비용 절감에 초점을 맞춰야 합니다.