Una empresa integrará un modelo de lenguaje grande (LLM) en su aplicación y necesita que las respuestas del modelo sean lo más deterministas y consistentes posible. ¿Qué enfoque satisface este requisito?

Establecer el parámetro temperature en 0 es la forma más efectiva de lograr respuestas deterministas y consistentes de un LLM. La temperature controla la aleatoriedad de la salida del modelo; un valor de 0 significa que el modelo siempre seleccionará el token con la probabilidad más alta, resultando en la misma respuesta para el mismo prompt. Añadir "make your response deterministic" al prompt es una instrucción, pero el LLM podría interpretarla de manera inconsistente, ya que no es un control directo sobre su mecanismo de muestreo. Establecer la temperature en 1 aumentaría la aleatoriedad, lo opuesto a lo deseado.