Firma geolokalizacyjna przechowuje codzienne obrazy satelitarne w Amazon S3 do wykrywania statków. Dane treningowe rosną przyrostowo, a zadanie treningowe SageMaker wykorzystujące pojedynczą instancję ml.p2.xlarge w trybie File input mode ostatnio zaczęło się niepowodzeniem z powodu niewystarczającej ilości pamięci lokalnej; jedyną zmianą była większa ilość danych. Rozwiązanie musi naprawić problem z pamięcią masową, jednocześnie optymalizując wydajność i minimalizując koszty treningu. Jaką zmianę powinien wprowadzić specjalista ML?

Problem z niewystarczającą ilością pamięci lokalnej (out of memory) podczas treningu w trybie File input mode wskazuje, że całe dane treningowe są pobierane na instancję przed rozpoczęciem treningu, co przekracza jej pojemność. Zmiana na tryb Pipe input mode rozwiązuje ten problem, ponieważ dane są strumieniowane bezpośrednio z S3 do algorytmu treningowego w małych partiach, bez konieczności przechowywania ich w całości na dysku lokalnym. To optymalizuje zarówno wykorzystanie pamięci, jak i wydajność, ponieważ trening może rozpocząć się szybciej, a dane są przetwarzane na bieżąco. Dodatkowo, minimalizuje to koszty, ponieważ nie wymaga użycia droższych instancji ani dodatkowych zasobów. Użycie dwóch instancji ml.p2.xlarge zwiększyłoby koszty i nie rozwiązałoby problemu, jeśli pojedyncza instancja nadal próbowałaby pobrać wszystkie dane. Zmiana na instancję ml.p3.2xlarge również zwiększyłaby koszty i mogłaby jedynie opóźnić problem, jeśli dane nadal rosłyby. Użycie Amazon EFS jest nieoptymalne kosztowo i wydajnościowo w porównaniu do bezpośredniego strumieniowania z S3.