Un modello di rischio di credito mostra un'accuratezza di training del 99% ma solo un'accuratezza di validazione dell'82%. L'azienda deve risolvere questo divario di prestazioni prima del deployment. Quali misure affrontano l'overfitting e migliorano la generalizzazione?

Il modello presenta overfitting, indicato dall'elevata accuratezza di training e dalla bassa accuratezza di validazione. Le tecniche di regolarizzazione sono essenziali per migliorare la generalizzazione. Il dropout disattiva casualmente i neuroni durante il training, impedendo al modello di fare eccessivo affidamento su specifici percorsi e riducendo la co-adattamento. La regolarizzazione L1 (Lasso) e L2 (Ridge) aggiungono un termine di penalità alla funzione di perdita, scoraggiando pesi grandi e semplificando il modello. La k-fold cross-validation non è una tecnica per prevenire l'overfitting, ma è un metodo robusto per valutare le prestazioni del modello e la sua generalizzazione in modo più affidabile, aiutando a identificare l'overfitting. Aggiungere più dense layers aumenterebbe la complessità, peggiorando l'overfitting. La PCA riduce la dimensionalità, ma non è una soluzione diretta all'overfitting in tutti i casi, e diminuire i layer potrebbe sottostimare il modello. Aumentare il dataset di training è utile, ma non sempre sufficiente da solo, e rimuovere duplicati o il campionamento stratificato sono tecniche di pre-elaborazione dati, non di regolarizzazione diretta.