StreamlineAI, periyodik model checkpoint'leri üreten özel bir PyTorch eğitim betiği (script mode) çalıştırıyor. Maliyeti düşürmek için SageMaker Yönetilen Spot Eğitimi'ni kullanmak istiyorlar. Eğitim betiği checkpoint'leri /opt/ml/checkpoints konumuna yazıyor ve şirket, yapıtları s3://streamlineai-checkpoints/training1/ altında depoluyor. Hangi yapılandırma, yönetilen spot SageMaker eğitim işinin bir kesintiden sonra son checkpoint'ten devam etmesini sağlar?

Doğru cevap, SageMaker Yönetilen Spot Eğitimi'nin kesintiler sırasında checkpoint'leri yönetme şeklini doğru bir şekilde açıklar. CheckpointConfig'i ayarlamak, SageMaker'a yerel checkpoint dizinini (LocalPath) belirtilen S3 konumuna (S3Uri) otomatik olarak yüklemesini ve indirmesini söyler. Eğitim betiğinizin checkpoint'leri /opt/ml/checkpoints konumuna kaydettiğinden ve bir kesintiden sonra devam ederken bu konumu kontrol ettiğinden emin olmanız gerekir. Diğer seçenekler yanlıştır çünkü: Model yapıtlarına güvenmek, yalnızca işin sonunda nihai modeli yakalar, ara checkpoint'leri değil. SageMaker Debugger (smdebug) hook'ları, hata ayıklama ve metrik toplama için tasarlanmıştır, eğitim devamlılığı için değil. EFS bağlamak teknik olarak mümkün olsa da, SageMaker'ın yerleşik CheckpointConfig özelliği, yönetilen spot örnekleriyle checkpoint'leri yönetmek için daha basit ve optimize edilmiş bir çözümdür.