Küresel bir finans firması, müşteri kredi puanlarını tahmin etmek için bir gradient boosting regresyon modeli kullanmaktadır. Veri seti, kategorik alanlar (örneğin, şehir ve konut durumu) ve farklı birimlerde kaydedilmiş finansal alanlar (örneğin, dolar cinsinden bakiyeler ve sent cinsinden faiz) içermektedir. Eğitim doğruluğu %99 iken test doğruluğu %75'tir. Modelin test performansını en çok hangi ön işleme adımları iyileştirir?

Eğitim doğruluğunun yüksek, test doğruluğunun ise düşük olması modelin aşırı uyum (overfitting) yaşadığını gösterir. Kategorik alanları one-hot encode etmek, modelin bu verileri daha iyi anlamasını sağlar. Farklı birimlerdeki finansal sayısal alanları standardize etmek, özelliklerin aynı ölçekte olmasını sağlayarak gradyan iniş algoritmalarının daha verimli çalışmasına ve modelin öğrenmesini iyileştirmesine yardımcı olur. L1 regularization (Lasso), modeldeki gereksiz özelliklerin katsayılarını sıfıra yaklaştırarak özellik seçimi yapar ve aşırı uyumu azaltır. Diğer seçenekler ya aşırı uyumu gidermede yetersiz kalır (örneğin, tokenizasyon veya label encoding kategorik veriler için her zaman en iyi yöntem değildir ve sayısal alanlara doğrudan L1 uygulamak yerine özellik seçimi için kullanılır) ya da modelin performansını artırmaz (örneğin, logaritmik dönüşüm veya binning her zaman uygun değildir).