Un professionista addestra un modello che ottiene prestazioni elevate sul set di training, ma che si comporta male sui dati di valutazione. Qual è la spiegazione più probabile?

L'overfitting si verifica quando un modello impara i dettagli e il rumore dai dati di training in modo eccessivo, compromettendo la sua capacità di generalizzare a nuovi dati. Di conseguenza, il modello performa molto bene sul set di training ma male sui dati di valutazione (che non ha mai visto prima). L'underfitting, al contrario, si verifica quando un modello è troppo semplice per catturare le relazioni sottostanti nei dati, portando a prestazioni scarse sia sul training che sulla valutazione. Il prompt engineering è una tecnica specifica per i modelli linguistici e non si applica direttamente a questo scenario generale di performance del modello. Un modello distorto (biased) può mostrare prestazioni diverse su sottogruppi di dati, ma il problema descritto qui è una discrepanza tra le prestazioni sul training e sulla valutazione sull'intero set di dati.