Lors de la préparation de données d'entraînement CSV pour un algorithme intégré SageMaker, la conversion du jeu de données en un numpy.array a réduit la vitesse d'entraînement. Que devriez-vous faire pour optimiser les données d'entraînement pour les algorithmes intégrés SageMaker ?

La conversion des données d'entraînement CSV en format RecordIO protobuf est la méthode la plus efficace pour optimiser les données pour les algorithmes intégrés de SageMaker. Le format RecordIO est un format binaire optimisé pour la lecture et l'écriture de grands volumes de données, ce qui réduit considérablement le temps de chargement et d'entraînement par rapport aux formats textuels comme CSV ou aux structures en mémoire comme numpy.array. Les algorithmes intégrés de SageMaker sont spécifiquement conçus pour tirer parti de ce format. Utiliser SageMaker batch transform pour convertir les données en DataFrame n'est pas optimal car un DataFrame n'est pas un format de stockage optimisé pour l'entraînement distribué. Compresser les données au format Apache Parquet avec AWS Glue est une bonne pratique pour le stockage et l'analyse, mais RecordIO protobuf est généralement plus performant pour l'entraînement direct avec les algorithmes SageMaker. L'optimisation des hyperparamètres SageMaker optimise le modèle, pas le format des données d'entraînement.