あるMLスペシャリストが、1,000個のサンプルと50個の特徴量に対して線形最小二乗回帰モデルを適合させている際に、2つの特徴量が完全に線形従属であることに気づきました。これは線形最小二乗回帰にとってなぜ問題となるのでしょうか？

線形最小二乗回帰において、特徴量が完全に線形従属である場合、正規方程式を解く際に逆行列を計算できなくなります。これは、計画行列（デザイン行列）が特異行列（非可逆行列）となり、行列式がゼロになるためです。結果として、モデルの係数に対する一意の解が存在しなくなり、最適化プロセスが不安定になるか、失敗する可能性があります。バックプロパゲーションは線形回帰には通常使用されず、損失関数の形式は線形従属によって直接変わるわけではありません。また、線形従属は非線形関係を導入するものではありません。