在生成式AI系统中，“token”一词指的是什么？

在生成式AI系统中，token是模型处理文本的最小单位。它可以是一个完整的单词、一个单词的一部分（子词），甚至是单个字符或标点符号，具体取决于所使用的分词器。模型通过将输入文本分解为token序列来理解和生成语言。例如，“unbelievable”可能被分解为“un”、“believe”和“able”三个token。 其他选项不准确： “模型内部单词或概念的数字或向量表示”指的是嵌入（embeddings），这是token的数值表示，但token本身是文本片段。 “模型的预训练权重值”是模型学习到的参数，与token的概念不同。 “提供给模型以生成输出的实际提示或指令”是输入给模型的完整文本，由一个或多个token组成，但提示本身不是token。