Firma chce przewidzieć ceny sprzedaży domów za pomocą regresji liniowej wielowymiarowej. Zbiór danych zawiera takie cechy, jak wielkość działki, powierzchnia mieszkalna, powierzchnia niemieszkalna, liczba sypialni, liczba łazienek, rok budowy i kod pocztowy. Jakiej procedury powinien użyć specjalista uczenia maszynowego, aby wyeliminować nieistotne cechy i zmniejszyć złożoność modelu?

Prawidłowa odpowiedź to obliczenie korelacji każdej cechy z docelową ceną sprzedaży i usunięcie cech, które wykazują niewielką korelację z celem. W regresji liniowej celem jest przewidywanie wartości docelowej (ceny sprzedaży). Cechy, które mają silną korelację z celem, są najbardziej przydatne dla modelu. Cechy o niskiej korelacji z celem wnoszą niewiele do przewidywania i mogą zwiększać złożoność modelu bez poprawy jego wydajności. Pozostałe opcje są nieprawidłowe: Usuwanie cech o dużej lub niskiej wariancji na podstawie samych histogramów i odchyleń standardowych nie jest optymalną metodą, ponieważ wariancja cechy niekoniecznie odzwierciedla jej istotność dla zmiennej docelowej. Usuwanie cech o niskiej wzajemnej korelacji z innymi cechami (na podstawie mapy cieplnej) może być częścią selekcji cech, ale nie jest to główny sposób eliminowania cech nieistotnych dla celu. Cechy mogą być silnie skorelowane z celem, nawet jeśli nie są silnie skorelowane z innymi cechami wejściowymi.