一位 ML 專家正在對 1,000 個範例和 50 個特徵擬合線性最小平方法迴歸模型，並注意到其中兩個特徵是完全線性相關的。為什麼這對線性最小平方法迴歸來說是個問題？

當兩個特徵完全線性相關時，表示其中一個特徵可以完全由另一個特徵推導出來。在線性最小平方法迴歸中，這會導致設計矩陣（或稱特徵矩陣）的列向量線性相關，使得該矩陣不可逆（即為奇異矩陣）。由於最小平方法迴歸的解涉及該矩陣的逆，因此無法計算出唯一的係數解。這不是反向傳播的問題，因為線性最小平方法通常有閉合形式解。它也不會改變損失函數的形式或引入非線性關係。