PowerGrid Inc. trainiert ein Modell zur Vorhersage der stündlichen Stromlast über mehrere Jahre, die in einem S3 Data Lake gespeichert sind, und verwendet SageMaker Processing Jobs für das Feature Engineering. Das Team erwog die Verwendung einer Standard-K-Fold-Kreuzvalidierung (scikit-learn KFold mit shuffle=False) während der Hyperparameter-Abstimmung auf SageMaker, ist jedoch besorgt über temporale Leckagen. Welche Validierungsstrategie und SageMaker-Integration ist die Best Practice, um Leckagen zu vermeiden und gleichzeitig eine robuste Hyperparameter-Abstimmung zu unterstützen?

Die Implementierung einer Walk-Forward-Validierung (Rolling-Origin) ist die Best Practice für Zeitreihendaten, da sie sicherstellt, dass das Modell nur auf vergangenen Daten trainiert und auf zukünftige Daten validiert wird, wodurch temporale Leckagen vermieden werden. Dies kann effizient mit SageMaker Processing Jobs oder mehreren SageMaker Training Jobs orchestriert werden. Standard-K-Fold-CV mit shuffle=False ist keine echte Zeitreihen-Kreuzvalidierung, da sie Datenblöcke ohne Berücksichtigung der Zeitrichtung aufteilt und somit zu Leckagen führen kann. Leave-One-Out-Kreuzvalidierung ist rechenintensiv und nicht ideal für Zeitreihen. Eine einzelne Hold-Out-Validierung ist zu starr und bietet keine robuste Bewertung der Hyperparameter über verschiedene Zeiträume hinweg.