Bir Uzman, S3'te çok büyük bir eğitim veri setine (milyonlarca kayıt) sahiptir. Tüm verileri bir SageMaker not defterinin 5 GB'lık EBS birimine kopyalamaktan kaçınmak ancak yine de tüm veri seti üzerinde eğitim yapmak istiyorlar. Hangi iş akışı, minimum yerel kopyalama ile eğitim için tüm veri setini kullanmaya olanak tanır?

Doğru seçenek, büyük veri setleriyle çalışırken en verimli ve ölçeklenebilir yaklaşımı sunar. SageMaker notebook'ta küçük bir alt küme üzerinde kod doğrulaması yapmak, geliştirme sürecini hızlandırır ve yerel kaynak kullanımını minimize eder. Ardından, Pipe input mode kullanarak tüm veri setini doğrudan S3'ten okuyan bir SageMaker eğitim işi başlatmak, verilerin EBS birimine kopyalanmasını engeller ve eğitim süresini optimize eder. Bu yöntem, özellikle milyonlarca kayda sahip çok büyük veri setleri için idealdir. Diğer seçenekler ise ya gereksiz kaynak tahsisine (EC2 örneği başlatma ve S3'ü ekleme) yol açar ya da SageMaker'ın Pipe input mode gibi yerleşik optimizasyonlarından faydalanmaz. AWS Glue, veri hazırlığı için faydalı olsa da, doğrudan eğitim iş akışında Pipe input mode'un yerini tutmaz ve ek bir adım gerektirir.