StreamlineAI führt ein benutzerdefiniertes PyTorch-Trainingsskript (Skriptmodus) aus, das periodische Modell-Checkpoints erstellt. Sie möchten SageMaker Managed Spot Training verwenden, um Kosten zu senken. Das Trainingsskript schreibt Checkpoints nach /opt/ml/checkpoints, und das Unternehmen speichert Artefakte unter s3://streamlineai-checkpoints/training1/. Welche Konfiguration ermöglicht es einem Managed-Spot-SageMaker-Trainingsjob, nach einer Unterbrechung vom letzten Checkpoint aus fortzufahren?

Die korrekte Konfiguration für SageMaker Managed Spot Training, um Checkpoints nach einer Unterbrechung fortzusetzen, ist die Verwendung von CheckpointConfig. Wenn CheckpointConfig mit einem S3Uri und LocalPath konfiguriert ist, lädt SageMaker die Checkpoints vom S3-Speicherort in den lokalen Pfad des Trainingscontainers herunter, bevor das Training fortgesetzt wird, und lädt sie nach jeder Checkpoint-Speicherung wieder hoch. Das Trainingsskript muss die Checkpoints in den angegebenen LocalPath (/opt/ml/checkpoints) schreiben und beim Start überprüfen, ob dort bereits Checkpoints vorhanden sind, um das Training fortzusetzen. Die Option, sich auf das Modellartefakt zu verlassen, ist falsch, da das Modellartefakt normalerweise das finale Modell am Ende des Jobs speichert, nicht die Zwischen-Checkpoints für die Wiederaufnahme. SageMaker Debugger (smdebug) ist für das Debugging und die Leistungsüberwachung gedacht, nicht für die Verwaltung von Trainings-Checkpoints für die Wiederaufnahme nach Spot-Unterbrechungen. Das Mounten eines EFS-Dateisystems ist zwar technisch möglich, aber komplexer und nicht die von SageMaker vorgesehene Methode zur Handhabung von Checkpoints bei Managed Spot Training, die speziell für diesen Zweck die CheckpointConfig bietet.