Un'azienda di social media addestrerà un modello di classificazione delle immagini (utilizzando il classificatore di immagini integrato di SageMaker) per rilevare contenuti offensivi. Utilizzeranno la modalità pipe per velocizzare l'addestramento. Il dataset è suddiviso in cartelle Training, Validation e Test, con sottocartelle di classe, immagini ridimensionate uniformemente e due file manifest denominati training.lst e validation.lst. Hanno creato bucket S3 separati per gli upload di training e validation. Quale ulteriore passaggio di preparazione dei dati dovrebbero eseguire prima di caricare su S3?

La modalità pipe di SageMaker per l'Image Classification integrato richiede che i dati siano in formato RecordIO. L'utility im2rec di Apache MXNet è lo strumento standard per convertire i file manifest (.lst) e le immagini associate in file RecordIO (.rec). Questi file RecordIO contengono sia i dati delle immagini che le etichette, ottimizzati per l'addestramento distribuito e la modalità pipe, consentendo un accesso più efficiente ai dati direttamente da S3 senza download intermedi. Le altre opzioni non sono adatte perché i DataFrame Pandas e i file Parquet non sono il formato richiesto per l'Image Classification in modalità pipe. La compressione con Snappy o Gzip delle directory non crea il formato RecordIO necessario e non è il modo corretto per preparare i dati per la modalità pipe.