ML 전문가는 1,000개의 예제와 50개의 특성을 사용하여 선형 최소 제곱 회귀 모델을 적합화하고 있으며, 두 특성이 완벽하게 선형적으로 종속되어 있음을 발견했습니다. 이것이 선형 최소 제곱 회귀에 문제가 되는 이유는 무엇입니까?

두 특성이 완벽하게 선형적으로 종속되어 있다는 것은 하나가 다른 하나의 선형 조합임을 의미합니다. 선형 최소 제곱 회귀는 일반적으로 정규 방정식을 풀어 가중치를 찾는데, 이 방정식은 특성 행렬의 역행렬을 포함합니다. 특성 행렬에 완벽하게 선형 종속적인 열이 있으면, 이 행렬은 특이 행렬(singular matrix)이 되어 역행렬을 계산할 수 없게 됩니다. 이는 고유한 해를 찾을 수 없음을 의미하며, 모델의 가중치가 불안정해지거나 무한히 많은 해가 존재할 수 있습니다. 다른 옵션들은 다음과 같은 이유로 올바르지 않습니다. 역전파는 선형 회귀에 직접 사용되지 않습니다. 손실 함수의 형태는 선형 종속성으로 인해 변경되지 않습니다. 선형 종속성은 비선형 관계가 아니라 선형 관계의 문제입니다.