Firma zajmująca się mediami społecznościowymi będzie trenować model klasyfikacji obrazów (używając wbudowanego klasyfikatora obrazów SageMaker) do wykrywania obraźliwych treści. Użyją trybu pipe, aby przyspieszyć trenowanie. Zbiór danych jest podzielony na foldery Training, Validation i Test, z podfolderami klas, obrazy są jednolicie zmienione, a dwa pliki manifestu noszą nazwy training.lst i validation.lst. Utworzyli oddzielne zasobniki S3 dla przesyłania danych treningowych i walidacyjnych. Jaki dodatkowy krok przygotowania danych powinni wykonać przed przesłaniem do S3?

Prawidłowa odpowiedź to konwersja manifestów na pliki RecordIO za pomocą narzędzia im2rec. Wbudowany klasyfikator obrazów SageMaker, szczególnie w trybie pipe, najlepiej współpracuje z formatem RecordIO. Ten format optymalizuje przesyłanie danych i zwiększa wydajność treningu, ponieważ pakuje wiele obrazów i ich etykiet do jednego pliku, co zmniejsza narzut związany z operacjami I/O. Pozostałe opcje są nieprawidłowe, ponieważ: Użycie Pandas DataFrame i plików Parquet nie jest natywnie obsługiwane ani zoptymalizowane dla wbudowanego klasyfikatora obrazów SageMaker w trybie pipe. Kompresja katalogów za pomocą Snappy lub gzip, a następnie przesyłanie ich wraz z plikami manifestu, nie tworzy formatu RecordIO, który jest wymagany do optymalnego działania trybu pipe.