StreamlineAI esegue uno script di training PyTorch personalizzato (modalità script) che produce checkpoint del modello periodici. L'azienda vuole utilizzare SageMaker Managed Spot Training per ridurre i costi. Lo script di training scrive i checkpoint in /opt/ml/checkpoints e l'azienda archivia gli artefatti in s3://streamlineai-checkpoints/training1/. Quale configurazione consentirà a un job di training SageMaker gestito tramite spot di riprendere dall'ultimo checkpoint dopo un'interruzione?

La risposta corretta è la configurazione di CheckpointConfig con S3Uri e LocalPath. SageMaker Managed Spot Training utilizza questa configurazione per gestire automaticamente il salvataggio e il ripristino dei checkpoint tra le interruzioni spot. Quando un'istanza spot viene interrotta, SageMaker carica i checkpoint da LocalPath a S3Uri. Quando un nuovo job riprende, SageMaker scarica i checkpoint da S3Uri a LocalPath, permettendo allo script di training di ripartire dall'ultimo stato salvato. Le altre opzioni sono errate perché: Affidarsi a ModelArtifacts non è sufficiente, poiché questi vengono generati solo alla fine di un job completato e non gestiscono i checkpoint intermedi per la ripresa dopo un'interruzione. Gli hook di SageMaker Debugger (smdebug) sono per il debug e l'analisi dei tensori, non per la gestione automatica della persistenza dei checkpoint per la ripresa di job spot. Montare un filesystem EFS è una soluzione complessa e non è il meccanismo nativo e gestito da SageMaker per la persistenza dei checkpoint in un contesto di spot training.