PowerGrid Inc addestra un modello per prevedere il carico orario di elettricità su più anni, dati archiviati in un data lake S3, e utilizza SageMaker Processing jobs per il feature engineering. Il team ha considerato l'utilizzo di una cross-validation k-fold standard (scikit-learn KFold con shuffle=False) durante l'ottimizzazione degli iperparametri su SageMaker, ma è preoccupato per il temporal leakage. Quale strategia di validazione e integrazione con SageMaker rappresenta la best practice per evitare il leakage supportando al contempo una robusta ottimizzazione degli iperparametri?

La validazione walk-forward (rolling-origin) è la best practice per i dati di serie temporali perché simula il modo in cui il modello verrà utilizzato in produzione, addestrandosi sui dati passati e convalidando sui dati futuri. Questo previene il temporal leakage, dove le informazioni future influenzano l'addestramento del modello. L'implementazione con SageMaker Processing o più training job consente una gestione efficiente di questo processo su larga scala. Le altre opzioni sono meno adatte: La CV k-fold standard con shuffle=False non è sufficiente per le serie temporali perché, anche se l'ordine è preservato all'interno di ogni fold, non garantisce che i dati di validazione siano sempre successivi ai dati di addestramento. La cross-validation leave-one-out (LOO) è computazionalmente costosa e non adatta per serie temporali a causa della sua natura che non rispetta la dipendenza temporale. Una singola suddivisione hold-out è troppo limitata e non fornisce una robusta ottimizzazione degli iperparametri, in quanto la metrica di valutazione potrebbe essere influenzata da una specifica finestra temporale.