Qual parâmetro de modelo de linguagem grande determina quantos candidatos a próximas palavras ou tokens são considerados em cada etapa de geração?

Top K é o parâmetro que limita o número de palavras ou tokens mais prováveis a serem considerados na próxima etapa da geração de texto. Ele seleciona os K tokens com as maiores probabilidades, e o modelo então amostra um desses K tokens. Isso ajuda a controlar a diversidade da saída. Maximum tokens define o comprimento máximo da sequência gerada, não o número de candidatos. Temperature controla a aleatoriedade da saída, ajustando a distribuição de probabilidade dos tokens. Batch size refere-se ao número de sequências processadas simultaneamente durante a inferência ou treinamento, não afetando a seleção de tokens candidatos.