Un système conçu pour résumer des livres de différentes longueurs échoue sur certains titres lors des tests. Quelle est la raison la plus probable de ces échecs ?

La raison la plus probable est que le texte d'entrée dépasse la longueur maximale du contexte (jeton) du modèle. Les modèles de résumé ont une limite sur la quantité de texte qu'ils peuvent traiter en une seule fois. Si un livre est trop long, le modèle ne pourra pas le traiter entièrement, ce qui entraînera un échec ou un résumé incomplet. Les autres options sont moins probables : Un paramètre de température trop élevé ou une valeur Top-p trop élevée rendraient le résumé plus créatif ou incohérent, mais ne causeraient pas un échec total du traitement. La plupart des modèles modernes peuvent être fine-tunés, et même si ce n'était pas le cas, cela n'expliquerait pas un échec de traitement dû à la longueur du texte.