System zaprojektowany do podsumowywania książek o różnej długości zawodzi na niektórych tytułach podczas testowania. Jaka jest najbardziej prawdopodobna przyczyna tych awarii?

Najbardziej prawdopodobną przyczyną awarii jest przekroczenie maksymalnej długości kontekstu (tokenów) modelu. Modele językowe mają ograniczenie co do ilości tekstu, który mogą przetworzyć jednocześnie. Jeśli książka jest zbyt długa, model nie jest w stanie jej w całości przyjąć jako dane wejściowe, co prowadzi do błędów. Parametr temperatury i wartość Top-p wpływają na kreatywność i różnorodność generowanych odpowiedzi, a nie na zdolność przetwarzania długich tekstów. Brak obsługi dostrajania (fine-tuning) przez model nie jest bezpośrednią przyczyną awarii podczas testowania, lecz ograniczeniem w jego adaptacji.