Podczas przygotowywania danych treningowych CSV dla wbudowanego algorytmu SageMaker, konwersja zbioru danych na numpy.array zmniejszyła szybkość trenowania. Co należy zrobić, aby zoptymalizować dane treningowe dla wbudowanych algorytmów SageMaker?

Konwersja zbioru danych do formatu RecordIO protobuf jest zalecaną metodą optymalizacji danych treningowych dla wbudowanych algorytmów SageMaker. Ten format jest zoptymalizowany pod kątem wydajności i skalowalności w środowisku SageMaker, umożliwiając szybsze ładowanie i przetwarzanie danych, co bezpośrednio przekłada się na krótszy czas treningu. Użycie numpy.array, choć powszechne, często nie jest tak wydajne jak RecordIO protobuf w kontekście SageMaker. Transformacja wsadowa SageMaker do DataFrame nie jest optymalizacją formatu danych dla algorytmów. Kompresja danych do Apache Parquet za pomocą AWS Glue może zmniejszyć rozmiar danych, ale RecordIO protobuf jest specyficznie zoptymalizowany pod kątem wbudowanych algorytmów SageMaker. Optymalizacja hiperparametrów SageMaker dotyczy strojenia modelu, a nie formatu danych treningowych.