Zadanie szkoleniowe SageMaker odczytuje miliony plików S3, każdy o rozmiarze kilku megabajtów, a wydajność szkolenia jest niska. Która zmiana najszybciej poprawi przepustowość szkolenia?

Amazon FSx for Lustre to wysokowydajny system plików zoptymalizowany pod kątem obciążeń obliczeniowych, takich jak szkolenie modeli ML. Może on buforować dane z S3, co znacznie poprawia przepustowość odczytu dla milionów małych plików, ponieważ redukuje obciążenie związane z wielokrotnym otwieraniem i zamykaniem połączeń S3. S3 Express One Zone oferuje wysoką wydajność, ale nie rozwiązuje problemu dużej liczby małych plików tak efektywnie jak FSx for Lustre, który jest zaprojektowany do konsolidacji operacji I/O. Amazon EFS jest systemem plików ogólnego przeznaczenia i zazwyczaj nie oferuje wydajności wymaganej dla intensywnych obciążeń ML. ElastiCache (Redis) jest bazą danych w pamięci podręcznej, a nie systemem plików, i nie jest przeznaczony do przechowywania i strumieniowania milionów plików w taki sposób, aby wspierać szkolenie ML.