En los sistemas de IA generativa, ¿a qué se refiere el término "token"?

En IA generativa, un "token" es la unidad fundamental de texto que el modelo procesa. Estos pueden ser palabras completas, partes de palabras (subpalabras), caracteres individuales o símbolos, dependiendo de cómo se haya tokenizado el texto. El modelo opera sobre estos tokens para comprender la entrada y generar la salida. La representación numérica o vectorial de palabras (embedding) es cómo el modelo interpreta los tokens, no el token en sí. Los pesos preentrenados son parámetros del modelo, no tokens. Las instrucciones o "prompts" son la entrada que se le da al modelo, compuesta por tokens, pero no son el token en sí.