Firma internetowa szkoli wieloklasowy model głębokiego uczenia i obserwuje 90% dokładności na danych treningowych, ale tylko 70% na danych testowych (przeuczenie). Aby zmaksymalizować dokładność na zbiorach walidacyjnych i testowych przed wdrożeniem, które działanie najprawdopodobniej pomoże modelowi najlepiej uogólniać?

Model wykazuje przeuczenie, co oznacza, że zbyt dobrze zapamiętał dane treningowe, tracąc zdolność do generalizacji na nowe, niewidoczne dane. Regularizacja L1 lub L2 oraz dropout to techniki zaprojektowane specjalnie do walki z przeuczeniem. Regularizacja dodaje kary do funkcji kosztu za duże wagi, zniechęcając model do polegania na pojedynczych cechach. Dropout losowo wyłącza neurony podczas treningu, co zmusza sieć do uczenia się bardziej robustnych reprezentacji. Zwiększenie losowości mini-paczek nie adresuje bezpośrednio przeuczenia. Przydzielenie większej części danych do treningu może pogłębić problem przeuczenia, jeśli model nadal będzie nadmiernie dopasowany. Zmniejszenie rozmiaru sieci może pomóc, ale regularyzacja i dropout są bardziej ukierunkowanymi i często skuteczniejszymi metodami w przypadku przeuczenia.