Ein tiefes TensorFlow-Netzwerk passt Trainingsdaten an, generalisiert aber schlecht auf neue Daten. Welche Technik kann Overfitting reduzieren?

Dropout-Methoden reduzieren Overfitting, indem sie während des Trainings zufällig einen Prozentsatz der Neuronen in jeder Schicht "ausschalten". Dies zwingt das Netzwerk, robustere Merkmale zu lernen, da es sich nicht auf die Ausgabe eines einzelnen Neurons verlassen kann. Es ist, als würde man mehrere kleinere Netzwerke trainieren und ihre Ergebnisse mitteln, was die Generalisierungsfähigkeit verbessert. Threading und Serialization sind Techniken zur Programmoptimierung und Datenverwaltung, die nichts mit Overfitting zu tun haben. Dimensionality Reduction (Dimensionsreduktion) kann zwar helfen, Overfitting zu reduzieren, indem die Anzahl der Eingabemerkmale verringert wird, ist aber eine andere Technik als Dropout, die direkt auf die Netzwerkarchitektur während des Trainings einwirkt.