Un especialista tiene un conjunto de datos de entrenamiento muy grande en S3 (millones de registros). Quiere evitar copiar todos los datos al volumen EBS de 5 GB de un notebook de SageMaker, pero aun así entrenar con el conjunto de datos completo. ¿Qué flujo de trabajo permite usar el conjunto de datos completo para el entrenamiento con una copia local mínima?

La opción correcta permite validar el código de entrenamiento rápidamente en el notebook de SageMaker con un subconjunto pequeño, evitando la descarga masiva de datos. Luego, el trabajo de entrenamiento de SageMaker puede acceder directamente al conjunto de datos completo en S3 usando el modo de entrada Pipe. Este modo transmite los datos directamente al contenedor de entrenamiento, eliminando la necesidad de copiar todo el conjunto de datos al volumen EBS del notebook o a la instancia de entrenamiento, lo cual es eficiente para conjuntos de datos grandes. Las opciones incorrectas implican pasos innecesarios o ineficientes: Lanzar una instancia EC2 es más complejo y menos integrado que usar SageMaker para el entrenamiento. Usar AWS Glue para probar el entrenamiento no es su propósito principal y añade complejidad innecesaria. Entrenar en una instancia EC2 de Deep Learning después de la validación local sigue siendo menos optimizado que el flujo de trabajo de SageMaker con el modo Pipe.