Globalna firma finansowa używa modelu regresji gradient boosting do oszacowania zdolności kredytowej klientów. Zbiór danych zawiera pola kategoryczne (na przykład miasto i status mieszkaniowy) oraz pola finansowe zapisane w różnych jednostkach (na przykład salda w dolarach i odsetki w centach). Dokładność treningowa wynosi 99%, ale dokładność testowa to 75%. Które kroki przetwarzania wstępnego najbardziej poprawią wydajność modelu w testach?

Prawidłowa odpowiedź poprawia wydajność modelu testowego poprzez rozwiązanie problemów związanych z danymi kategorycznymi, skalowaniem danych numerycznych i nadmiernym dopasowaniem. Kodowanie one-hot przekształca dane kategoryczne w format zrozumiały dla algorytmów uczenia maszynowego, unikając implikowania porządku, który nie istnieje. Standaryzacja pól numerycznych, szczególnie tych w różnych jednostkach, zapewnia, że żadna cecha nie dominuje nad innymi ze względu na jej skalę. Regularyzacja L1 (Lasso) pomaga w redukcji cech i zapobieganiu nadmiernemu dopasowaniu poprzez zerowanie wag mniej istotnych cech. Pozostałe opcje są mniej skuteczne: Tokenizacja pól kategorycznych jest bardziej odpowiednia dla danych tekstowych, a podział na przedziały może prowadzić do utraty informacji. Usuwanie wartości odstających za pomocą filtrowania z-score może być zbyt agresywne i usunąć cenne dane. Kodowanie label-encode może wprowadzać sztuczne relacje porządkowe między kategoriami. Stosowanie regularyzacji L1 do pól numerycznych i L2 do modelu jest nieprecyzyjne; regularyzacja L1 i L2 są technikami stosowanymi do wag modelu, a nie bezpośrednio do pól. Transformacja logarytmiczna jest dla danych numerycznych, a nie kategorycznych. Imputacja brakujących wartości jest ważna, ale nie rozwiązuje problemów ze skalowaniem ani nadmiernym dopasowaniem.