Uma empresa deseja que um LLM do Amazon Bedrock forneça saídas mais consistentes para o mesmo prompt de entrada. Qual alteração de parâmetro de inferência tornará as respostas do modelo mais determinísticas?

Diminuir o valor da temperatura torna as saídas do modelo mais determinísticas. A temperatura controla a aleatoriedade das saídas do LLM: um valor mais baixo (próximo de 0) faz com que o modelo escolha as palavras mais prováveis, resultando em respostas mais previsíveis e consistentes para o mesmo prompt. Um valor mais alto (próximo de 1) aumenta a aleatoriedade, levando a saídas mais diversas e criativas. Aumentar o valor da temperatura faria o oposto, tornando as respostas menos consistentes. Diminuir o comprimento dos tokens de saída ou aumentar o comprimento máximo de geração afeta o tamanho da resposta, não sua aleatoriedade ou determinismo.