Un processo di training SageMaker legge milioni di file S3, ciascuno di diversi megabyte, e le prestazioni del training sono lente. Quale modifica migliorerà più rapidamente il throughput del training?

La risposta corretta è creare un file system Amazon FSx for Lustre. FSx for Lustre è ottimizzato per carichi di lavoro ad alte prestazioni e può fornire un throughput molto più elevato rispetto a S3 per milioni di file di piccole dimensioni, riducendo significativamente i tempi di training. Si integra nativamente con S3, consentendo di collegare il bucket esistente senza copiare i dati. Spostare i dati in S3 Express One Zone potrebbe migliorare leggermente le prestazioni, ma non è progettato per la stessa scala di throughput di FSx for Lustre per milioni di file. Amazon EFS è un file system condiviso, ma le sue prestazioni sono generalmente inferiori a FSx for Lustre per carichi di lavoro ad alte prestazioni e richiederebbe la copia dei dati. ElastiCache (Redis OSS) è una cache in memoria e non è adatto per lo storage primario di milioni di file di diversi megabyte.