PowerGrid Inc. szkoli model do prognozowania godzinowego obciążenia elektrycznego na przestrzeni wielu lat, dane są przechowywane w jeziorze danych S3, a do inżynierii cech wykorzystuje zadania SageMaker Processing. Zespół rozważał użycie standardowej walidacji krzyżowej k-krotnej (scikit-learn KFold z shuffle=False) podczas strojenia hiperparametrów w SageMaker, ale obawia się wycieku danych czasowych. Jaka strategia walidacji i integracja z SageMaker jest najlepszą praktyką, aby uniknąć wycieku danych, jednocześnie wspierając solidne strojenie hiperparametrów?

Prawidłowa odpowiedź to implementacja walidacji kroczącej (walk-forward, rolling-origin). Ta strategia jest najlepszą praktyką w przypadku danych szeregów czasowych, ponieważ symuluje rzeczywiste scenariusze, w których model jest trenowany na danych historycznych i testowany na przyszłych, niewidzianych danych. Zapobiega to wyciekowi danych czasowych, ponieważ dane walidacyjne zawsze pochodzą z okresu po danych treningowych. Można to zintegrować z SageMaker za pomocą wielu zadań treningowych lub orkiestracji opartej na SageMaker Processing. Pozostałe opcje są nieodpowiednie: Standardowa walidacja krzyżowa k-krotna, nawet z shuffle=False, nie jest równoważna z walidacją krzyżową szeregów czasowych i nadal może prowadzić do wycieku danych, ponieważ krotki mogą zawierać dane z przyszłości w zestawie treningowym. Walidacja krzyżowa leave-one-out (LOO) dla znaczników czasu jest zbyt kosztowna obliczeniowo dla dużych zbiorów danych i nie rozwiązuje problemu wycieku danych czasowych, ponieważ każdy punkt danych jest używany do walidacji, a jego sąsiedzi czasowi mogą być w zestawie treningowym. Pojedynczy podział walidacyjny typu hold-out jest zbyt prosty i nie zapewnia solidnej oceny modelu ani strojenia hiperparametrów, ponieważ ocena jest oparta tylko na jednym podziale danych.