Uma empresa de mídia social treinará um modelo de classificação de imagens (usando o classificador de imagens integrado do SageMaker) para detectar conteúdo ofensivo. Eles usarão o modo pipe para acelerar o treinamento. O conjunto de dados é dividido em pastas Training, Validation e Test, com subpastas de classes, imagens redimensionadas uniformemente e dois arquivos de manifesto chamados training.lst e validation.lst. Eles criaram buckets S3 separados para uploads de treinamento e validação. Qual etapa adicional de preparação de dados eles devem realizar antes de fazer o upload para o S3?

O classificador de imagens integrado do SageMaker, quando usado com o modo pipe, espera que os dados de entrada estejam no formato RecordIO. O utilitário im2rec do Apache MXNet é a ferramenta padrão para converter imagens e seus manifestos (arquivos .lst) em arquivos RecordIO (.rec), que são otimizados para leitura eficiente durante o treinamento. Carregar os dados neste formato permite que o SageMaker transmita os dados diretamente do S3 para a instância de treinamento, acelerando o processo. As outras opções estão incorretas porque: Pandas DataFrames e arquivos Parquet não são o formato esperado para o classificador de imagens no modo pipe. A compressão com Snappy ou Gzip não converte os dados para o formato RecordIO necessário. Embora a compressão possa reduzir o tamanho do arquivo, ela não atende ao requisito de formato de dados do classificador de imagens.