Un'azienda web addestra un modello multi-classe di deep learning e riscontra un'accuratezza del 90% sui dati di training, ma solo del 70% sui dati di test (overfitting). Per massimizzare l'accuratezza sui set di validazione e test prima del deployment, quale azione è più probabile che aiuti il modello a generalizzare meglio?

L'overfitting si verifica quando un modello impara i dettagli e il rumore dai dati di training, compromettendo la sua capacità di generalizzare a nuovi dati. La regolarizzazione L1 o L2 e il dropout sono tecniche efficaci per combattere l'overfitting. La regolarizzazione L1 e L2 aggiunge un termine di penalità alla funzione di costo, scoraggiando pesi grandi e complessi. Il dropout disattiva casualmente un sottoinsieme di neuroni durante il training, impedendo al modello di fare eccessivo affidamento su specifici percorsi e costringendolo a imparare rappresentazioni più robuste. Aumentare la casualità nei mini-batch non risolve l'overfitting intrinseco. Allocare più dati al training potrebbe peggiorare l'overfitting se il modello è già troppo complesso. Ridurre la dimensione della rete potrebbe aiutare, ma la regolarizzazione e il dropout sono spesso più efficaci nel mantenere la capacità del modello pur migliorando la generalizzazione.