Een systeem dat is ontworpen om boeken van verschillende lengtes samen te vatten, faalt bij sommige titels tijdens het testen. Wat is de meest waarschijnlijke reden voor deze storingen?

De meest waarschijnlijke reden is dat de invoertekst de maximale contextlengte van het model overschrijdt. Samenvattingsmodellen hebben een beperkte hoeveelheid tekst (tokens) die ze tegelijk kunnen verwerken. Als een boek langer is dan deze limiet, kan het model de volledige invoer niet verwerken, wat leidt tot fouten of onvolledige samenvattingen. Een te hoge temperatuurparameter zou leiden tot creatievere, maar potentieel minder coherente samenvattingen, niet tot storingen. De meeste moderne modellen ondersteunen fine-tuning, dus dit is onwaarschijnlijk de oorzaak van een storing. Een te hoge Top-p waarde zou de diversiteit van de uitvoer vergroten, maar niet direct leiden tot een storing bij het verwerken van lange teksten.