Una empresa quiere que un LLM de Amazon Bedrock proporcione resultados más consistentes para la misma instrucción de entrada (prompt). ¿Qué cambio en el parámetro de inferencia hará que las respuestas del modelo sean más deterministas?

Disminuir el valor de temperature es la acción correcta. El parámetro temperature controla la aleatoriedad de las respuestas del modelo. Un valor más bajo (cercano a 0) hace que el modelo sea más determinista y predecible, eligiendo las palabras con mayor probabilidad y produciendo resultados más consistentes para la misma instrucción. Un valor más alto de temperature (cercano a 1) introduce más aleatoriedad, haciendo las respuestas más diversas pero menos consistentes. Disminuir la longitud de los tokens de salida o aumentar la longitud máxima de generación no afecta directamente la consistencia o determinismo de las respuestas, sino la extensión de las mismas.