Specjalista ML dopasowuje model regresji liniowej metodą najmniejszych kwadratów na 1000 przykładach i 50 cechach, i zauważa, że dwie cechy są doskonale liniowo zależne. Dlaczego jest to problematyczne dla regresji liniowej metodą najmniejszych kwadratów?

Doskonała liniowa zależność między cechami (multicollinearity) oznacza, że jedna cecha może być dokładnie wyrażona jako liniowa kombinacja innej cechy (lub cech). W regresji liniowej metodą najmniejszych kwadratów (OLS) do obliczenia współczynników regresji używana jest macierz $X^TX$, gdzie $X$ to macierz cech. Jeśli cechy są doskonale liniowo zależne, macierz $X^TX$ staje się osobliwa (jej wyznacznik wynosi zero), co oznacza, że nie można jej odwrócić. W konsekwencji algorytm OLS nie jest w stanie znaleźć unikalnego rozwiązania dla współczynników regresji. Inne opcje są nieprawidłowe: Regresja liniowa OLS nie używa propagacji wstecznej; jest to algorytm stosowany w sieciach neuronowych. Doskonała liniowa zależność nie zmienia postaci funkcji straty, ale uniemożliwia jej optymalizację w sposób prowadzący do unikalnego rozwiązania. Liniowa zależność między cechami nie wprowadza nieliniowych zależności do modelu; wręcz przeciwnie, jest to ekstremalny przypadek liniowej relacji.