Un sistema progettato per riassumere libri di varie lunghezze fallisce su alcuni titoli durante i test. Qual è la ragione più probabile di questi fallimenti?

I modelli di linguaggio hanno una lunghezza massima del contesto, ovvero un numero limitato di token che possono elaborare in una singola richiesta. Se il testo di input (un libro lungo) supera questa lunghezza, il modello non può elaborarlo completamente e fallisce nel riassunto. Un parametro di temperatura troppo alto o un valore Top-p elevato influenzano la creatività e la casualità dell'output, ma non causano un fallimento totale dovuto alla lunghezza dell'input. La mancanza di supporto per il fine-tuning non impedisce al modello di tentare un riassunto, ma ne limita l'efficacia.