VideoAI almacena 40 TB de fotogramas de vídeo sin procesar en S3 y entrena en instancias de GPU que tienen solo 1 TB de almacenamiento de instancia. Su bucle de entrenamiento lee el conjunto de datos secuencialmente durante varias épocas y puede transmitir registros desde interfaces compatibles con stdin. ¿Qué modo de entrada de SageMaker deberían elegir y por qué?

La opción correcta es el modo Pipe porque el conjunto de datos (40 TB) es significativamente mayor que el almacenamiento de la instancia (1 TB). El modo Pipe permite que el contenedor de entrenamiento transmita datos directamente desde S3 a medida que se necesitan, sin descargar todo el conjunto de datos al disco local. Esto es ideal para algoritmos que leen datos secuencialmente, como se describe en el escenario. El modo File es incorrecto porque intentaría descargar los 40 TB de datos al disco local de 1 TB, lo cual es inviable y no hay una extensión automática del disco de la instancia como se sugiere. Configurar EBSVolumeSize en 50 TB con el modo Pipe es innecesario y costoso, ya que el modo Pipe ya evita la descarga completa y el almacenamiento persistente entre épocas no es una característica inherente del modo Pipe de esta manera. Montar S3 como un sistema de archivos POSIX no es una característica estándar del modo File de SageMaker y no resuelve el problema de la capacidad de almacenamiento.