Ein lineares Regressionsmodell zeigt eine sehr hohe Genauigkeit auf dem Trainingsdatensatz, liefert aber schlechte Ergebnisse bei neuen, ungesehenen Daten. Welche Maßnahmen sollte der ML-Ingenieur ergreifen, um dieses Problem zu beheben?

Das Problem der hohen Genauigkeit auf Trainingsdaten und schlechter Leistung auf neuen Daten ist ein klassisches Zeichen für Overfitting. Kreuzvalidierung hilft, die Modellleistung robuster zu bewerten und Overfitting zu erkennen, indem sie das Modell auf verschiedenen Teilmengen der Daten testet. Regularisierungstechniken (z.B. L1 oder L2) reduzieren die Modellkomplexität und verhindern, dass das Modell zu stark an die Trainingsdaten angepasst wird. Amazon SageMaker Experiments ist ideal, um die Auswirkungen dieser Techniken systematisch zu verfolgen und die Leistung verschiedener Modellversionen zu vergleichen, was für die Behebung von Overfitting entscheidend ist. Die Erhöhung der Modellkomplexität würde Overfitting verschlimmern. Die direkte Bereitstellung eines überangepassten Modells in der Produktion ist kontraproduktiv. Eine größere Trainingsdatenmenge allein garantiert keine Lösung, wenn das Modell weiterhin überangepasst ist; Regularisierung und Kreuzvalidierung sind oft effektiver.