VideoAI speichert 40 TB Roh-Video-Frames in S3 und trainiert auf GPU-Instanzen, die nur 1 TB Instanzspeicher haben. Ihre Trainingsschleife liest den Datensatz sequenziell über mehrere Epochen hinweg und kann Datensätze von stdin-kompatiblen Schnittstellen streamen. Welchen SageMaker-Eingabemodus sollten sie wählen und warum?

Der Pipe-Modus ist die korrekte Wahl, da er das direkte Streaming von Daten aus S3 in den Trainings-Container ermöglicht, ohne den gesamten 40 TB großen Datensatz auf den 1 TB großen Instanzspeicher herunterladen zu müssen. Dies ist ideal, wenn der Datensatz größer als der verfügbare Instanzspeicher ist und der Trainingsalgorithmus sequenzielles Lesen unterstützt, wie hier beschrieben. Der Dateimodus würde versuchen, den gesamten Datensatz herunterzuladen, was bei 40 TB und nur 1 TB Instanzspeicher fehlschlagen würde. Das Setzen von EBSVolumeSize auf 50 TB im Pipe-Modus ist unnötig und kostspielig, da der Pipe-Modus keine persistente Speicherung zwischen Epochen erfordert, wenn die Daten gestreamt werden. Das Mounten von S3 als POSIX-Dateisystem ist keine native SageMaker-Eingabeoption und würde zusätzlichen Konfigurationsaufwand sowie potenzielle Performance-Probleme mit sich bringen.