Un spécialiste en ML ajuste un modèle de régression linéaire par les moindres carrés sur 1 000 exemples et 50 caractéristiques, et remarque que deux caractéristiques sont parfaitement linéairement dépendantes. Pourquoi cela est-il problématique pour la régression linéaire par les moindres carrés ?

Lorsque deux caractéristiques sont parfaitement linéairement dépendantes, la matrice de conception (X transpose X) dans la formule des moindres carrés ordinaires devient singulière (son déterminant est zéro). Une matrice singulière n'est pas inversible, ce qui rend impossible le calcul de la solution unique pour les coefficients de régression (bêta = (X'X)^-1 X'y). Cela empêche l'algorithme de trouver une solution unique et stable. L'algorithme de rétropropagation n'est pas directement utilisé dans la régression linéaire par les moindres carrés, qui est une méthode analytique. La forme de la fonction de perte ne serait pas modifiée de manière à empêcher l'optimisation, mais plutôt la capacité à trouver un minimum unique. La dépendance linéaire n'introduit pas de relations non linéaires; elle viole l'hypothèse d'indépendance des prédicteurs.