Ao preparar dados de treinamento CSV para um algoritmo integrado do SageMaker, a conversão do conjunto de dados para um numpy.array reduziu a velocidade do treinamento. O que você deve fazer para otimizar os dados de treinamento para algoritmos integrados do SageMaker?

A conversão do conjunto de dados para o formato RecordIO protobuf é a melhor opção porque os algoritmos integrados do SageMaker são otimizados para consumir dados nesse formato. O RecordIO protobuf é um formato binário que permite o acesso eficiente aos dados, resultando em tempos de treinamento mais rápidos e uso otimizado de recursos. Converter para um DataFrame não é a melhor solução, pois o SageMaker ainda precisaria processar esses dados para um formato otimizado para treinamento. Usar o AWS Glue para compactar em Apache Parquet pode ser útil para armazenamento e processamento de dados em larga escala, mas não é o formato ideal para o treinamento direto com algoritmos integrados do SageMaker. A otimização de hiperparâmetros do SageMaker otimiza o modelo, não o formato dos dados de entrada.