Um profissional de IA deseja que as saídas de um large language model (LLM) sejam mais diversas e criativas. Qual parâmetro de inferência ele deve ajustar?

Aumentar o valor da temperatura é a ação correta porque a temperatura controla a aleatoriedade das saídas do LLM. Um valor de temperatura mais alto torna o modelo mais "ousado" e propenso a selecionar tokens menos prováveis, resultando em respostas mais diversas e criativas. Diminuir o valor de Top K (que limita a seleção aos K tokens mais prováveis) tornaria as saídas menos diversas, não mais. Aumentar o comprimento da resposta apenas permite que o modelo gere mais texto, mas não afeta diretamente a diversidade ou criatividade intrínseca de cada token. Diminuir o comprimento do prompt não influencia a diversidade ou criatividade da saída, apenas fornece menos contexto inicial ao modelo.