Ein Social-Media-Unternehmen wird ein Bildklassifizierungsmodell (unter Verwendung des integrierten Bildklassifizierers von SageMaker) trainieren, um anstößige Inhalte zu erkennen. Sie werden den Pipe-Modus verwenden, um das Training zu beschleunigen. Der Datensatz ist in Trainings-, Validierungs- und Testordner mit Klassensubordnern aufgeteilt, wobei die Bilder einheitlich in der Größe angepasst wurden und zwei Manifestdateien mit den Namen training.lst und validation.lst vorhanden sind. Sie haben separate S3-Buckets für Trainings- und Validierungsuploads erstellt. Welchen zusätzlichen Datenvorbereitungsschritt sollten sie vor dem Hochladen nach S3 durchführen?

Der integrierte SageMaker Image Classifier erwartet Eingabedaten im RecordIO-Format, insbesondere wenn der Pipe-Modus verwendet wird. Das im2rec-Dienstprogramm von Apache MXNet ist das Standardwerkzeug, um Bilddaten und zugehörige Manifestdateien in das RecordIO-Format zu konvertieren, das für effizientes Training optimiert ist. Das Hochladen dieser RecordIO-Dateien in S3 ermöglicht es SageMaker, die Daten direkt zu streamen, was die Trainingsgeschwindigkeit im Pipe-Modus maximiert. Das Einlesen in Pandas DataFrames und das Schreiben von Parquet-Dateien ist für Bilddaten und den Image Classifier nicht das geeignete Format. Das Komprimieren der Verzeichnisse mit Snappy oder gzip würde die Daten nicht in das erwartete RecordIO-Format umwandeln und wäre für den Pipe-Modus nicht optimiert.