PowerGrid Inc, S3 veri gölünde depolanan ve birden fazla yılı kapsayan saatlik elektrik yükünü tahmin etmek için bir model eğitiyor ve özellik mühendisliği için SageMaker Processing işlerini kullanıyor. Ekip, SageMaker üzerinde hiperparametre ayarlaması sırasında standart bir k-katlı (shuffle=False ile scikit-learn KFold) çapraz doğrulama kullanmayı düşündü, ancak zamansal sızıntı konusunda endişeleri var. Sağlam hiperparametre ayarlamasını desteklerken sızıntıyı önlemek için en iyi uygulama olan doğrulama stratejisi ve SageMaker entegrasyonu hangisidir?

Doğru cevap, ileriye dönük (rolling-origin) doğrulamayı uygulamaktır çünkü bu yöntem, zaman serisi verilerinde zamansal sızıntıyı önler. Her katlama, yalnızca geçmiş veriler üzerinde eğitilir ve gelecekteki veriler üzerinde doğrulanır, bu da modelin gerçek dünya senaryolarında nasıl performans göstereceğini daha doğru bir şekilde yansıtır. Bu, her katlama için ayrı SageMaker Training işleri veya SageMaker Processing tabanlı bir orkestrasyon ile uygulanabilir. Standart k-katlı çapraz doğrulama (shuffle=False olsa bile), zaman serisi verilerinde gelecekteki verilerin eğitim setine sızmasına neden olabilir. Tekli bırakma (LOO) çapraz doğrulaması hesaplama açısından pahalıdır ve zaman serisi için uygun değildir. Tek bir hold-out bölümü, hiperparametre ayarlaması için yeterli sağlamlık sağlamaz ve modelin farklı zaman dilimlerindeki performansını değerlendirme yeteneğini sınırlar.