Je traint een tekstclassificatie met een ingebouwd word-embedding algoritme. De dataset heeft vijf klassen met de volgende aantallen samples: A=300, B=292, C=240, D=258, E=310. Je schudt de data en zet 10% opzij voor testen. Na de training worden verwarringsmatrices (confusion matrices) voor de trainings- en testsets geproduceerd. Welke conclusie kan uit deze resultaten worden getrokken?

De meest waarschijnlijke conclusie is dat klassen C en D te veel op elkaar lijken. Een vergelijkbare verwarring tussen deze twee klassen in zowel de trainings- als de testset, ondanks een relatief gebalanceerde dataset, duidt op een inherente gelijkenis die het model moeilijk kan onderscheiden. De dataset is niet te klein voor een holdout-validatieset; 10% is een standaardverdeling. De klassendistributie is relatief gebalanceerd (tussen 240 en 310 samples per klasse), dus deze is niet sterk scheef. Overfitting op klassen B en E zou betekenen dat het model deze klassen in de trainingsset perfect voorspelt, maar in de testset slecht presteert, wat niet direct uit de gegeven informatie kan worden afgeleid.