Ein ML-Spezialist passt ein lineares Kleinste-Quadrate-Regressionsmodell an 1.000 Beispiele und 50 Features an und bemerkt, dass zwei Features perfekt linear abhängig sind. Warum ist dies für die lineare Kleinste-Quadrate-Regression problematisch?

Perfekt linear abhängige Features führen zu einer singulären (nicht invertierbaren) Designmatrix im Kontext der linearen Kleinste-Quadrate-Regression. Die Lösung für die Regressionskoeffizienten wird durch die Formel $\hat{\beta} = (X^T X)^{-1} X^T y$ berechnet. Wenn $X^T X$ singulär ist, existiert die Inverse $(X^T X)^{-1}$ nicht, was eine eindeutige Lösung für die Koeffizienten unmöglich macht. Backpropagation ist für neuronale Netze relevant, nicht direkt für die lineare Regression. Die Form der Verlustfunktion wird durch lineare Abhängigkeit nicht grundlegend geändert, aber die Optimierung wird aufgrund der nicht invertierbaren Matrix problematisch. Lineare Abhängigkeit führt nicht zu nichtlinearen Beziehungen; sie ist ein Problem innerhalb der linearen Annahmen.