大型语言模型的哪个参数决定了在每个生成步骤中考虑多少个候选的下一个词或标记？

Top K 参数控制了在每个生成步骤中，模型从概率最高的 K 个词或标记中进行选择。这有助于在生成文本时平衡多样性和相关性。Maximum tokens 设定了生成文本的最大长度，而不是候选词的数量。Temperature 参数调整了模型输出的随机性，较高的温度会使输出更具创造性，但不会直接决定候选词的数量。Batch size 是指在一次处理中输入模型的样本数量，与单个生成步骤的候选词选择无关。