Nei sistemi di intelligenza artificiale generativa, a cosa si riferisce il termine "token"?

Nei sistemi di intelligenza artificiale generativa, un "token" è l'unità fondamentale di testo che il modello elabora. Questo può essere una parola intera, una sottoparte di parola (subword), un carattere o anche un byte, a seconda della strategia di tokenizzazione utilizzata. I modelli scompongono il testo di input in questi token per comprenderlo e generano output token per token. La rappresentazione numerica o vettoriale di parole o concetti è l'embedding, non il token stesso. I pesi pre-addestrati sono parametri interni del modello, mentre i prompt sono le istruzioni fornite dall'utente, che vengono poi trasformati in token dal modello.