Specjalista ds. danych tworzy binarny klasyfikator chorób na podstawie losowej próbki 400 pacjentów, gdzie częstość występowania choroby wynosi około 3%. Jaka strategia walidacji krzyżowej jest najbardziej odpowiednia do oceny modelu?

Stratyfikowana walidacja krzyżowa k-krotna jest najbardziej odpowiednia, ponieważ częstość występowania choroby wynosi tylko 3%, co oznacza, że klasy są niezbalansowane. Stratyfikacja zapewnia, że każda fałda (fold) w walidacji krzyżowej ma podobny rozkład klas jak cały zbiór danych, co jest kluczowe dla uzyskania wiarygodnych wyników oceny modelu w przypadku niezbalansowanych danych. Standardowa walidacja k-krotna (bez stratyfikacji) może prowadzić do tego, że niektóre fałdy będą miały bardzo mało lub wcale przypadków choroby, co zafałszuje ocenę. Powtórzenia walidacji k-krotnej zwiększają stabilność wyników, ale nie rozwiązują problemu niezbalansowanych klas. Podział 80/20 jest formą walidacji, ale k-krotna walidacja krzyżowa wykorzystuje dane efektywniej, testując model na wszystkich podzbiorach.