Problema di regressione in NLP con 100M esempi etichettati; dati mescolati casualmente e divisi 90/10 train/test. L'RMSE del training è il doppio dell'RMSE del test. Come si dovrebbe migliorare le prestazioni del modello?

Il problema descritto, con un RMSE di training doppio rispetto all'RMSE di test, indica un underfitting. Questo significa che il modello non è abbastanza complesso da catturare le relazioni nei dati di training. Aumentare la complessità del modello, ad esempio aggiungendo un layer o espandendo il vocabolario/n-grammi, gli permetterà di imparare pattern più dettagliati e ridurre l'errore di training. Aumentare la quota del campione di test non risolve l'underfitting, ma potrebbe dare una stima più precisa delle prestazioni. Raccogliere più dati è utile per l'overfitting o per migliorare la generalizzazione, ma non per l'underfitting. Le tecniche di regolarizzazione sono usate per combattere l'overfitting, non l'underfitting.