PowerGrid Inc traint een model om de uurlijkse elektriciteitsbelasting over meerdere jaren te voorspellen, opgeslagen in een S3 data lake, en gebruikt SageMaker Processing jobs voor feature engineering. Het team overwoog om een standaard k-fold (scikit-learn KFold met shuffle=False) cross-validatie te gebruiken tijdens hyperparameter tuning op SageMaker, maar maakt zich zorgen over temporele lekkage. Welke validatiestrategie en SageMaker-integratie is de beste praktijk om lekkage te voorkomen en tegelijkertijd robuuste hyperparameter tuning te ondersteunen?

Walk-forward (rolling-origin) validatie is de beste praktijk voor tijdreeksgegevens omdat het temporele lekkage voorkomt door ervoor te zorgen dat elk validatievenster alleen gegevens uit het verleden gebruikt voor training en gegevens uit de toekomst voor validatie. Dit simuleert de real-world toepassing van het model. SageMaker Training jobs of SageMaker Processing kunnen worden gebruikt om deze strategie efficiënt te orkestreren. Standaard k-fold CV met shuffle=False is niet equivalent aan tijdreeks-CV, omdat het nog steeds niet garandeert dat validatiegegevens na de trainingsgegevens komen. Leave-one-out CV is computationeel te duur voor grote datasets en garandeert ook geen temporele scheiding. Een enkele hold-out split is onvoldoende robuust voor hyperparameter tuning, omdat het de variabiliteit in de tijdreeks niet goed vastlegt.