StreamlineAI draait een aangepast PyTorch trainingsscript (script mode) dat periodieke model checkpoints produceert. Ze willen SageMaker Managed Spot Training gebruiken om kosten te besparen. Het trainingsscript schrijft checkpoints naar /opt/ml/checkpoints en het bedrijf slaat artifacts op onder s3://streamlineai-checkpoints/training1/. Welke configuratie zorgt ervoor dat een managed-spot SageMaker trainingstaak na een onderbreking kan hervatten vanaf het laatste checkpoint?

De correcte optie beschrijft de standaard en aanbevolen methode voor het configureren van checkpoints voor SageMaker Managed Spot Training. Door CheckpointConfig in te stellen met een S3Uri en LocalPath, zorgt SageMaker ervoor dat checkpoints die lokaal worden opgeslagen (/opt/ml/checkpoints) automatisch worden geüpload naar S3 bij onderbrekingen en gedownload bij hervatting. Het trainingsscript moet dan bij de start controleren op bestaande checkpoints in het lokale pad om de training te hervatten. De andere opties zijn onjuist omdat: Het vertrouwen op de model artifact locatie is niet voldoende, omdat dit alleen het uiteindelijke model opslaat, niet de periodieke checkpoints die nodig zijn voor hervatting. SageMaker Debugger (smdebug) is primair voor debugging en monitoring, niet voor het beheren van trainingshervatting via checkpoints. Hoewel het checkpoints kan opslaan, integreert het niet automatisch met de hervattingslogica van Managed Spot Training op de manier van CheckpointConfig. Het koppelen van een EFS-bestandssysteem is een complexere oplossing en is niet de meest kosteneffectieve of native SageMaker-manier om checkpoints te beheren voor spot-trainingen, die ontworpen zijn om stateless te zijn tussen onderbrekingen.