Una empresa está entrenando modelos en SageMaker utilizando 200 TB de datos almacenados en S3. El conjunto de datos consta de muchos archivos, cada uno de ellos de más de 200 MB. La empresa desea el tiempo de procesamiento más rápido con un esfuerzo de configuración mínimo. ¿Qué método de acceso a los datos debería utilizar?

SageMaker FastFile es la opción más eficiente para este escenario. Está diseñado para conjuntos de datos grandes con muchos archivos, como los 200 TB y archivos de 200 MB descritos. FastFile transmite datos bajo demanda directamente desde S3, eliminando la necesidad de copiar todo el conjunto de datos al almacenamiento de la instancia de entrenamiento, lo que reduce significativamente el tiempo de inicio y el esfuerzo de configuración. El modo de archivo de SageMaker copiaría todo el conjunto de datos a la instancia, lo cual sería muy lento y costoso para 200 TB. Amazon FSx for Lustre es una buena opción para el rendimiento, pero requiere una configuración más compleja y no es tan "mínimo esfuerzo" como FastFile, que está integrado en SageMaker. Amazon EFS es un sistema de archivos de red, pero su rendimiento puede no ser suficiente para 200 TB de datos y no está optimizado para el acceso de alto rendimiento a grandes conjuntos de datos en S3 como FastFile.