Un sistema diseñado para resumir libros de varias longitudes falla en algunos títulos durante las pruebas. ¿Cuál es la razón más probable de estos fallos?

La razón más probable es que el texto de entrada excede la longitud máxima de contexto (token) del modelo. Los modelos de lenguaje tienen un límite en la cantidad de texto que pueden procesar a la vez. Si un libro es demasiado largo, el modelo no podrá leerlo completamente, lo que resultará en un fallo o un resumen incompleto. El parámetro de temperatura demasiado alto aumentaría la aleatoriedad, no causaría un fallo directo. La falta de soporte para ajuste fino no impide que el modelo funcione con su configuración predeterminada. Un valor de Top-p demasiado alto también aumentaría la diversidad de la salida, pero no provocaría un fallo por sí mismo.