소셜 미디어 회사는 운영 작업을 최소화하면서 SageMaker JumpStart에서 사용할 수 있는 여러 LLM의 유해성(toxicity)을 비교하고자 합니다. 운영 오버헤드가 가장 적은 평가 접근 방식은 무엇입니까?

정답은 자동 모델 평가입니다. SageMaker JumpStart에서 LLM의 유해성을 최소한의 운영 오버헤드로 비교하려면 자동 모델 평가가 가장 효율적인 접근 방식입니다. 이는 사전 정의된 지표와 알고리즘을 사용하여 모델 출력을 평가하므로, 대규모 언어 모델을 빠르게 비교하고 순위를 매길 수 있습니다. 크라우드 소싱 평가와 인간 검토자를 사용한 모델 평가는 사람의 개입이 필요하므로 운영 오버헤드가 높습니다. RLHF는 모델을 훈련시키는 방법으로, 평가 방법이라기보다는 모델 개선 프로세스에 가깝고, 상당한 인적 자원과 시간이 소요됩니다.