Ein globales Finanzunternehmen verwendet ein Gradient-Boosting-Regressionsmodell, um die Kreditwürdigkeit von Kunden zu schätzen. Der Datensatz enthält kategoriale Felder (z. B. Stadt und Wohnstatus) und Finanzfelder, die in verschiedenen Einheiten erfasst wurden (z. B. Guthaben in Dollar und Zinsen in Cent). Die Trainingsgenauigkeit beträgt 99 %, die Testgenauigkeit jedoch 75 %. Welche Vorverarbeitungsschritte verbessern die Testleistung des Modells am meisten?

Die hohe Trainingsgenauigkeit (99 %) und die niedrige Testgenauigkeit (75 %) deuten auf Overfitting hin. One-Hot-Encoding ist für kategoriale Merkmale in Gradient-Boosting-Modellen oft besser geeignet als Label-Encoding, da es keine künstliche Reihenfolge einführt. Die Standardisierung numerischer Merkmale (z. B. Guthaben und Zinsen) ist entscheidend, wenn diese in unterschiedlichen Einheiten oder Skalen vorliegen, um zu verhindern, dass Merkmale mit größeren Werten das Modell dominieren. L1-Regularisierung (Lasso) hilft, Overfitting zu reduzieren, indem sie irrelevante Merkmale auf Null setzt und somit die Modellkomplexität verringert. Tokenisierung und Binnierung sind für diesen Kontext weniger optimal. Label-Encoding kann bei kategorialen Merkmalen mit vielen einzigartigen Werten zu Problemen führen. Eine logarithmische Transformation ist für kategoriale Felder nicht sinnvoll. Das Imputieren fehlender Werte ist zwar wichtig, aber nicht die primäre Lösung für Overfitting.