Çok sayıda özelliğe sahip bir veri kümesi için doğrusal tahmin modelleri (doğrusal veya lojistik regresyon gibi) oluşturuyorsunuz. Keşifsel analiz, birçok özelliğin yüksek oranda ilişkili olduğunu ve bunun modeli istikrarsızlaştırabileceğini gösteriyor. Birçok ilişkili özelliğe sahip olmanın olumsuz etkilerini azaltmak için ne yapmalısınız?

Çok sayıda yüksek oranda ilişkili özelliğe sahip olmak, çoklu doğrusallığa yol açarak doğrusal modellerin (doğrusal veya lojistik regresyon gibi) katsayı tahminlerini istikrarsızlaştırabilir ve yorumlanmasını zorlaştırabilir. Temel Bileşen Analizi (PCA), orijinal değişkenlerin doğrusal kombinasyonları olan yeni, ilişkisiz özellikler (temel bileşenler) oluşturarak bu sorunu çözen bir boyut azaltma tekniğidir. Bu, veri kümesinin varyansını korurken boyutluluğu azaltır ve modelin istikrarını artırır. Yüksek oranda ilişkili özelliklere one-hot encoding uygulamak, zaten yüksek olan boyutluluğu daha da artırır ve çoklu doğrusallık sorununu çözmez. Özellikleri matris çarpımı kullanarak birleştirmek, yeni özellikler oluşturabilir ancak ilişkisizliklerini garanti etmez ve çoklu doğrusallık sorununu çözmeyebilir. Pearson korelasyon katsayılarını hesaplamak, ilişkili özellikleri tanımlamak için bir adımdır, ancak sorunu çözmez; sadece teşhis eder.