대화형 어시스턴트가 Amazon Bedrock을 통해 Anthropic Claude로 요청을 라우팅합니다. 사용자들이 비슷한 질문을 여러 번 할 때마다 다른 답변을 얻는다는 것을 알게 되었습니다. 응답을 더 일관성 있고 덜 무작위적으로 만들려면 ML 엔지니어는 어떤 파라미터 변경을 적용해야 할까요?

모델 응답의 일관성을 높이고 무작위성을 줄이려면 temperature와 topk 파라미터 모두 감소시켜야 합니다. temperature는 모델이 생성하는 텍스트의 예측 불가능성 또는 창의성을 제어합니다. temperature를 낮추면 모델은 더 보수적이고 예측 가능한 응답을 생성하여 일관성을 높입니다. topk는 모델이 다음 토큰을 선택할 때 고려하는 가장 확률이 높은 토큰의 수를 제한합니다. topk를 낮추면 모델이 선택할 수 있는 옵션의 폭이 좁아져 응답의 다양성이 줄어들고 일관성이 향상됩니다. 다른 옵션들은 모델의 무작위성을 증가시키거나 일관성에 부정적인 영향을 미칠 수 있습니다.