Temizlenmiş bir veri kümesindeki özelliklerin ölçekleri, büyüklük derecelerine göre farklılık göstermektedir. Üretimde tahmin doğruluğunu en üst düzeye çıkarmak için modellemeden önce hangi adımları izlemelisiniz?

Doğru cevap, veri sızıntısını önlemek ve modelin genellenebilirliğini sağlamak için en uygun yaklaşımdır. İlk olarak veri kümesini ayırmak, test ve doğrulama kümelerinin eğitim verilerinden "görülmemiş" kalmasını sağlar. Ardından, yalnızca eğitim kümesini kullanarak ölçeklendirme parametrelerini (ortalama, standart sapma, min/maks değerleri gibi) hesaplamak, modelin gerçek dünya verilerine nasıl genelleneceğini doğru bir şekilde değerlendirmemizi sağlar. Bu parametreleri doğrulama ve test kümelerine uygulamak, bu kümelerin eğitim verileriyle aynı dönüşümü almasını sağlar, ancak eğitim verilerinden "öğrenilen" bilgilere dayanarak. Diğer seçenekler veri sızıntısına yol açar veya modelin performansını yanlış değerlendirir: Tüm veri kümesini önce ölçeklendirmek, test ve doğrulama kümelerinin ölçeklendirme işlemi sırasında eğitim verilerinden bilgi sızdırmasına neden olur. Her kümeyi ayrı ayrı ölçeklendirmek, her kümenin farklı ölçeklendirme parametrelerine sahip olmasına yol açar, bu da tutarsızlığa ve modelin gerçek dünya verileri üzerinde nasıl performans göstereceğine dair yanlış bir değerlendirmeye neden olur. Rastgele örnekleme, ölçeklendirme sorununun kendisini ele almaz.