Zbudowano model klasyfikacji ptaków, losowo dzieląc zbiór danych na zestawy treningowy i walidacyjny. Dokładność treningowa jest bardzo wysoka, ale model słabo radzi sobie z zestawem walidacyjnym. Odkryto, że oryginalny zbiór danych jest niezbalansowany. Co należy zrobić, aby poprawić wydajność walidacji?

Prawidłowa odpowiedź to użycie próbkowania warstwowego. Niezbalansowany zbiór danych, w którym niektóre klasy są znacznie liczniejsze niż inne, może prowadzić do tego, że model będzie miał wysoką dokładność treningową, ale słabą wydajność walidacji, ponieważ uczy się faworyzować klasy większościowe. Próbkowanie warstwowe zapewnia, że proporcje klas w zbiorach treningowym i walidacyjnym są takie same jak w oryginalnym zbiorze danych, co pozwala modelowi na lepsze uogólnienie. Zbieranie większej ilości danych dla klas większościowych pogorszyłoby problem niezbalansowania. Trenowanie na mniejszym podzbiorze danych treningowych może zmniejszyć przeuczenie, ale nie rozwiązuje problemu niezbalansowania klas. Próbkowanie systematyczne nie gwarantuje zachowania proporcji klas, co jest kluczowe w przypadku niezbalansowanych danych.