Ein Webunternehmen trainiert ein Deep-Learning-Multi-Class-Modell und erzielt eine Genauigkeit von 90 % bei Trainingsdaten, aber nur 70 % bei Testdaten (Overfitting). Welche Maßnahme hilft dem Modell am ehesten, vor der Bereitstellung am besten zu generalisieren, um die Genauigkeit bei Validierungs- und Testsets zu maximieren?

Die Diskrepanz zwischen hoher Trainingsgenauigkeit (90 %) und niedriger Testgenauigkeit (70 %) deutet auf Overfitting hin. L1- oder L2-Regularisierung und Dropout sind gängige und effektive Techniken, um Overfitting in Deep-Learning-Modellen zu reduzieren. Regularisierung bestraft große Gewichte, was die Modellkomplexität verringert, während Dropout zufällig Neuronen während des Trainings deaktiviert, was das Modell robuster macht. Die Erhöhung der Zufälligkeit bei Mini-Batches kann die Konvergenz verbessern, reduziert aber nicht direkt Overfitting. Ein größerer Trainingsdatensatzanteil würde den Testdatensatz verkleinern und das Problem des Overfittings nicht lösen, da das Modell immer noch zu spezifisch für die Trainingsdaten sein könnte. Eine Verringerung der Netzwerkgröße könnte zu Underfitting führen, wenn das Modell zu einfach wird, um die zugrunde liegenden Muster zu lernen.