Um especialista em ML está ajustando um modelo de regressão linear de mínimos quadrados em 1.000 exemplos e 50 características, e percebe que duas características são perfeitamente linearmente dependentes. Por que isso é problemático para a regressão linear de mínimos quadrados?

A dependência linear perfeita entre características causa um problema de multicolinearidade exata. Na regressão linear de mínimos quadrados, os coeficientes são calculados invertendo a matriz X^T X (onde X é a matriz de design). Se houver dependência linear perfeita, essa matriz se torna singular (seu determinante é zero), o que significa que ela não pode ser invertida. Isso impede a obtenção de uma solução única e estável para os coeficientes do modelo. A retropropagação não se aplica à regressão linear de mínimos quadrados tradicional, que é um método direto. A forma da função de perda não muda fundamentalmente, mas a otimização falha devido à impossibilidade de inversão da matriz. A dependência linear não introduz relações não lineares; pelo contrário, ela representa uma relação linear redundante entre as características.