Um sistema projetado para resumir livros de vários tamanhos falha em alguns títulos durante os testes. Qual é a razão mais provável para essas falhas?

A razão mais provável para a falha do sistema é que o texto de entrada excede o comprimento máximo de contexto (token) do modelo. Modelos de linguagem têm um limite para a quantidade de texto que podem processar de uma vez. Livros, especialmente os mais longos, podem facilmente ultrapassar esse limite, causando falhas. As outras opções são menos prováveis: Um parâmetro de temperatura muito alto tornaria as saídas mais aleatórias e criativas, mas não causaria falhas no processamento. A maioria dos modelos modernos que realizam tarefas de resumo suporta fine-tuning; a falta de suporte não explicaria falhas em títulos específicos. Um valor de Top-p muito alto também aumentaria a aleatoriedade e diversidade das saídas, mas não impediria o processamento do texto.