Una empresa de redes sociales entrenará un modelo de clasificación de imágenes (utilizando el clasificador de imágenes integrado de SageMaker) para detectar contenido ofensivo. Utilizarán el modo pipe para acelerar el entrenamiento. El conjunto de datos se divide en carpetas de Training, Validation y Test, con subcarpetas de clases, imágenes redimensionadas uniformemente y dos archivos manifest llamados training.lst y validation.lst. Crearon buckets de S3 separados para las cargas de entrenamiento y validación. ¿Qué paso adicional de preparación de datos deberían realizar antes de subir a S3?

Para usar el modo pipe con el clasificador de imágenes de SageMaker, los datos deben estar en formato RecordIO. La utilidad im2rec de Apache MXNet es la herramienta estándar para convertir un conjunto de datos de imágenes y sus archivos manifest (.lst) en archivos RecordIO (.rec). Estos archivos RecordIO se suben a S3 y SageMaker los consume directamente, lo que permite un entrenamiento eficiente en modo pipe. Las otras opciones son incorrectas: Pandas DataFrames y Parquet no son formatos compatibles para el modo pipe con el clasificador de imágenes de SageMaker. Comprimir los directorios con Snappy o gzip no convierte los datos al formato RecordIO requerido y no permite el modo pipe de manera eficiente para este algoritmo.