Sie trainieren einen Textklassifikator mit einem integrierten Word-Embedding-Algorithmus. Der Datensatz hat fünf Klassen mit diesen Stichprobenzahlen: A=300, B=292, C=240, D=258, E=310. Sie mischen und legen 10 % für Tests beiseite. Nach dem Training werden Konfusionsmatrizen für Trainings- und Testsets erstellt. Welche Schlussfolgerung kann aus diesen Ergebnissen gezogen werden?

Die Verwechslungsmatrix zeigt, dass das Modell Schwierigkeiten hat, zwischen den Klassen C und D zu unterscheiden, da es viele Instanzen der Klasse C fälschlicherweise als D und umgekehrt klassifiziert. Dies deutet darauf hin, dass die Merkmale oder Muster, die diese beiden Klassen definieren, für den Algorithmus zu ähnlich sind, was zu häufigen Fehlklassifikationen führt. Die anderen Optionen sind weniger wahrscheinlich: Der Datensatz ist groß genug für ein Holdout-Set. Die Klassenverteilung ist relativ ausgeglichen, nicht stark verzerrt. Es gibt keine Informationen, die auf ein Overfitting speziell bei den Klassen B und E hindeuten, da die Verwechslungen hauptsächlich zwischen C und D auftreten.