Un especialista en ML está ajustando un modelo de regresión lineal por mínimos cuadrados con 1000 ejemplos y 50 características, y observa que dos características son perfectamente linealmente dependientes. ¿Por qué es esto problemático para la regresión lineal por mínimos cuadrados?

La dependencia lineal perfecta entre características (multicolinealidad perfecta) es problemática porque, en la regresión lineal por mínimos cuadrados, la solución para los coeficientes del modelo implica invertir la matriz $X^TX$ (donde $X$ es la matriz de diseño). Si dos o más características son perfectamente linealmente dependientes, la matriz $X^TX$ se vuelve singular (su determinante es cero) y, por lo tanto, no invertible. Esto impide que el algoritmo encuentre una solución única para los coeficientes, lo que hace que el modelo sea inestable o imposible de calcular. Las otras opciones son incorrectas: El backpropagation no se usa en la regresión lineal por mínimos cuadrados estándar, que tiene una solución de forma cerrada. La dependencia lineal no cambia la forma de la función de pérdida; la función de pérdida sigue siendo convexa, pero la optimización se vuelve intratable. La dependencia lineal no introduce relaciones no lineales; más bien, es una forma extrema de relación lineal.