Uno specialista di ML sta adattando un modello di regressione lineare ai minimi quadrati su 1.000 esempi e 50 feature, e nota che due feature sono perfettamente linearmente dipendenti. Perché questo è problematico per la regressione lineare ai minimi quadrati?

La regressione lineare ai minimi quadrati risolve un sistema di equazioni lineari per trovare i coefficienti ottimali. Quando due feature sono perfettamente linearmente dipendenti, la matrice di progettazione (design matrix) del sistema diventa singolare (non invertibile). Una matrice singolare significa che il sistema di equazioni non ha una soluzione unica, rendendo impossibile calcolare i coefficienti in modo deterministico. Questo impedisce all'algoritmo di trovare una soluzione stabile e unica. La backpropagation non è rilevante per la regressione lineare ai minimi quadrati standard (è per le reti neurali). La forma della funzione di perdita non cambia in modo da impedire l'ottimizzazione, e le relazioni non lineari non sono il problema qui, ma piuttosto la perfetta collinearità.