ML 엔지니어가 데이터 손실이 허용되지 않는 대규모 배치 처리를 위해 Amazon EMR 클러스터를 사용할 것입니다. 데이터 손실을 방지하면서 가장 비용 효율적인 인스턴스 구매 전략은 무엇입니까?

데이터 손실이 허용되지 않는 대규모 배치 처리의 경우, 프라이머리 노드와 코어 노드는 온디맨드 인스턴스에서 실행하여 안정성을 확보해야 합니다. 프라이머리 노드는 클러스터 관리 및 작업 조정을 담당하며, 코어 노드는 HDFS 데이터를 저장하고 작업을 실행합니다. 이 노드들이 중단되면 데이터 손실이나 작업 실패로 이어질 수 있습니다. 반면, 태스크 노드는 주로 컴퓨팅 작업만 수행하며 HDFS 데이터를 저장하지 않으므로, 스팟 인스턴스를 사용하여 비용을 절감할 수 있습니다. 스팟 인스턴스는 중단될 수 있지만, 태스크 노드의 특성상 작업 재시작을 통해 데이터 손실 없이 처리를 완료할 수 있습니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다. 모든 노드를 온디맨드 인스턴스에서 실행하는 것은 가장 안정적이지만, 비용 효율적이지 않습니다. 모든 노드를 스팟 인스턴스에서 실행하는 것은 비용 효율적이지만, 프라이머리 및 코어 노드의 중단으로 인해 데이터 손실 위험이 매우 높습니다. 프라이머리 노드만 온디맨드에서 실행하고 코어 및 태스크 노드를 스팟 인스턴스에서 실행하는 것은 코어 노드의 데이터 손실 위험을 증가시킵니다.