Un trabajo de entrenamiento de SageMaker lee millones de archivos S3, cada uno de varios megabytes, y el rendimiento del entrenamiento es lento. ¿Qué cambio mejorará más rápidamente el rendimiento del entrenamiento?

La opción correcta es crear un sistema de archivos Amazon FSx for Lustre y vincularlo al bucket de S3 existente. FSx for Lustre está optimizado para cargas de trabajo de alto rendimiento, como el entrenamiento de modelos de aprendizaje automático que acceden a millones de archivos pequeños. Proporciona un sistema de archivos de alto rendimiento que puede almacenar en caché datos de S3, reduciendo significativamente la latencia y aumentando el rendimiento de lectura en comparación con la lectura directa de S3, especialmente con un gran número de archivos pequeños. Mover los datos a S3 Express One Zone podría mejorar el rendimiento de S3, pero FSx for Lustre ofrece una mejora más sustancial para este patrón de acceso. Amazon EFS es un sistema de archivos de propósito general y no está optimizado para el rendimiento de E/S intensivo que requieren las cargas de trabajo de ML a gran escala. ElastiCache (Redis OSS) es una base de datos en memoria para almacenamiento en caché de datos, no un sistema de archivos distribuido para el acceso directo a archivos de entrenamiento.