Una empresa geoespacial almacena imágenes satelitales diarias en Amazon S3 para la detección de embarcaciones. Los datos de entrenamiento crecen incrementalmente y un trabajo de entrenamiento de SageMaker que utiliza una única instancia ml.p2.xlarge en modo de entrada File recientemente comenzó a fallar debido a un almacenamiento local insuficiente; el único cambio fue más datos. La solución debe corregir el problema de almacenamiento mientras optimiza el rendimiento y minimiza el costo de entrenamiento. ¿Qué cambio debe realizar el especialista en ML?

El modo de entrada Pipe (Pipe Mode) es la solución más eficiente. Permite que SageMaker transmita los datos directamente desde S3 al algoritmo de entrenamiento, procesando los datos en lotes pequeños sin necesidad de descargar todo el conjunto de datos al almacenamiento local de la instancia. Esto resuelve el problema de almacenamiento insuficiente y mejora el rendimiento al reducir los tiempos de descarga y el uso de E/S del disco, optimizando el costo al evitar el uso de instancias más grandes o múltiples. Usar dos instancias ml.p2.xlarge aumentaría el costo y no resolvería el problema de almacenamiento local si cada instancia sigue descargando una parte grande de los datos. Cambiar a una instancia ml.p3.2xlarge (más potente) podría tener más almacenamiento local, pero es más costosa y no aborda la ineficiencia de descargar todos los datos. Usar Amazon EFS introduciría latencia adicional y costos más altos en comparación con S3 y Pipe Mode.