Praktyk szkoli model, który osiąga wysoką wydajność w zestawie treningowym, ale słabo radzi sobie z danymi ewaluacyjnymi. Jakie jest najbardziej prawdopodobne wyjaśnienie?

Model jest przeuczony, gdy uczy się zbyt szczegółowo danych treningowych, włączając w to szum, co prowadzi do doskonałej wydajności na tych danych, ale słabej generalizacji na nowe, niewidziane dane (dane ewaluacyjne). W tym przypadku model zapamiętał dane treningowe zamiast nauczyć się podstawowych wzorców. Niedouczenie (underfit) oznaczałoby słabą wydajność zarówno na danych treningowych, jak i ewaluacyjnych, ponieważ model jest zbyt prosty, aby uchwycić złożoność danych. Prompt engineering dotyczy głównie modeli językowych i ich interakcji, nie jest bezpośrednią przyczyną słabej generalizacji po treningu. Stronniczość (biased) może prowadzić do słabej wydajności, ale objawia się zazwyczaj systematycznymi błędami lub niesprawiedliwymi wynikami dla określonych grup, a niekoniecznie wysoką wydajnością na danych treningowych i słabą na ewaluacyjnych w taki sposób, jak przeuczenie.