Ein SageMaker-Trainingsjob liest Millionen von S3-Dateien, die jeweils mehrere Megabyte groß sind, und die Trainingsleistung ist langsam. Welche Änderung würde den Trainingsdurchsatz am schnellsten verbessern?

Die Erstellung eines Amazon FSx for Lustre-Dateisystems, das mit dem S3-Bucket verknüpft ist, ist die schnellste Lösung. FSx for Lustre ist ein Hochleistungs-Dateisystem, das für rechenintensive Workloads wie ML-Training optimiert ist und einen schnellen Zugriff auf Daten im Petabyte-Bereich ermöglicht. Es kann S3-Daten transparent als Dateisystem bereitstellen, was den Trainingsdurchsatz erheblich verbessert. S3 Express One Zone ist zwar für hohe Leistung optimiert, erfordert aber das Verschieben der Daten und ist nicht so schnell wie FSx for Lustre für diesen Anwendungsfall. Amazon EFS ist ein skalierbares Dateisystem, aber seine Leistung ist in der Regel nicht so hoch wie die von FSx for Lustre für umfangreiche ML-Trainings. ElastiCache (Redis OSS) ist ein In-Memory-Datenspeicher, der für Caching und Echtzeitanwendungen optimiert ist, aber nicht für das direkte Streamen großer Trainingsdatensätze von S3 konzipiert ist.