Bij het voorbereiden van CSV-trainingsdata voor een ingebouwd SageMaker-algoritme, verminderde het converteren van de dataset naar een numpy.array de trainingssnelheid. Wat moet u doen om trainingsdata voor ingebouwde SageMaker-algoritmes te optimaliseren?

Het converteren van de dataset naar het RecordIO protobuf-formaat is de meest optimale methode voor ingebouwde SageMaker-algoritmes. Dit formaat is geoptimaliseerd voor snelle I/O en efficiënte verwerking binnen SageMaker, wat de trainingssnelheid aanzienlijk verhoogt. numpy.array is weliswaar een efficiënte datastructuur in Python, maar niet geoptimaliseerd voor de specifieke I/O-vereisten van SageMaker's ingebouwde algoritmes op schaal. SageMaker batch transform is bedoeld voor inferentie, niet voor het optimaliseren van trainingsdataformaten. AWS Glue met Apache Parquet is een goede optie voor opslag en verwerking van grote datasets, maar RecordIO protobuf is specifiek afgestemd op de trainingsprestaties van SageMaker. Hyperparameter optimization is voor het tunen van modelparameters, niet voor het optimaliseren van het dataformaat.