Een ML-specialist past een lineair least squares regressiemodel toe op 1.000 voorbeelden en 50 features, en merkt dat twee features perfect lineair afhankelijk zijn. Waarom is dit problematisch voor lineaire least squares regressie?

Perfect lineaire afhankelijkheid tussen features betekent dat één feature exact kan worden uitgedrukt als een lineaire combinatie van de andere. Bij lineaire least squares regressie leidt dit tot een singuliere (niet-inverteerbare) covariantiematrix (X^T X). Het berekenen van de inverse van deze matrix is essentieel voor het vinden van de unieke gesloten-vormoplossing voor de regressiecoëfficiënten. Een singuliere matrix voorkomt deze berekening, waardoor er geen unieke oplossing kan worden gevonden en het model instabiel wordt. Backpropagation is relevant voor neurale netwerken, niet direct voor lineaire least squares. De vorm van de loss-functie verandert niet, maar de optimalisatie faalt vanwege de onmogelijkheid om de inverse matrix te berekenen. Perfect lineaire afhankelijkheid introduceert geen niet-lineaire relaties; het is juist een extreme vorm van lineariteit.