Ein Unternehmen trainiert Modelle in SageMaker unter Verwendung von 200 TB Daten, die in S3 gespeichert sind. Der Datensatz besteht aus vielen Dateien, von denen jede größer als 200 MB ist. Das Unternehmen möchte die schnellste Verarbeitungszeit bei minimalem Einrichtungsaufwand. Welche Datenzugriffsmethode sollte es verwenden?

Der SageMaker FastFile-Modus (auch als Pipe-Modus bekannt) streamt Daten direkt von S3 zu den Trainingsinstanzen, was die schnellste Verarbeitungszeit für große Datensätze mit vielen großen Dateien bietet, da das Herunterladen des gesamten Datensatzes vor dem Training entfällt. Dies minimiert auch den Einrichtungsaufwand. Der SageMaker File-Modus kopiert den gesamten Datensatz vor dem Training, was bei 200 TB sehr zeitaufwändig wäre. Amazon FSx for Lustre ist eine leistungsstarke Option, erfordert aber mehr Einrichtungs- und Verwaltungskosten. Amazon EFS ist für diesen Anwendungsfall nicht optimiert, da es höhere Latenzzeiten und geringeren Durchsatz als FSx for Lustre oder der FastFile-Modus für große, sequenzielle Lesezugriffe aufweist.