Bir sosyal medya şirketi, rahatsız edici içeriği tespit etmek için bir görüntü sınıflandırma modeli (SageMaker'ın yerleşik görüntü sınıflandırıcısını kullanarak) eğitecektir. Eğitimi hızlandırmak için pipe mode kullanacaklardır. Veri seti Eğitim, Doğrulama ve Test klasörlerine ayrılmıştır ve sınıf alt klasörleri, tek tip olarak yeniden boyutlandırılmış görüntüler ve training.lst ve validation.lst adında iki manifest dosyası bulunmaktadır. Eğitim ve doğrulama yüklemeleri için ayrı S3 bucket'ları oluşturdular. S3'e yüklemeden önce hangi ek veri hazırlama adımını gerçekleştirmeleri gerekir?

SageMaker'ın yerleşik görüntü sınıflandırıcısı, pipe mode ile en iyi şekilde RecordIO formatında çalışır. im2rec yardımcı programı, manifest dosyalarını ve görüntüleri RecordIO formatına dönüştürmek için tasarlanmıştır. Bu format, eğitim sırasında verilerin verimli bir şekilde okunmasını ve işlenmesini sağlar, bu da pipe mode'un performans avantajlarından tam olarak yararlanmak için kritik öneme sahiptir. Diğer seçenekler uygun değildir: Pandas DataFrame ve Parquet dosyaları, yapılandırılmış veriler için daha uygundur ve görüntü verileri için verimli bir format değildir. Snappy veya Gzip ile sıkıştırma, verileri sıkıştırsa da, SageMaker'ın yerleşik algoritması için doğrudan okunabilir bir format sağlamaz ve RecordIO'nun sağladığı optimizasyonları sunmaz.