Um trabalho de treinamento do SageMaker lê milhões de arquivos S3, cada um com vários megabytes, e o desempenho do treinamento é lento. Qual alteração melhorará mais rapidamente a taxa de transferência do treinamento?

A opção de criar um sistema de arquivos Amazon FSx for Lustre e vinculá-lo ao bucket S3 existente é a que melhorará mais rapidamente a taxa de transferência de treinamento. O FSx for Lustre é um sistema de arquivos de alto desempenho otimizado para cargas de trabalho de computação intensiva, como treinamento de machine learning, que exige acesso rápido a grandes volumes de dados. Ele atua como um cache de alta velocidade para os dados do S3, reduzindo significativamente a latência e aumentando a taxa de transferência de leitura para o trabalho de treinamento. Mover os dados para o S3 Express One Zone pode oferecer melhorias, mas o FSx for Lustre é projetado especificamente para acelerar o acesso a dados para computação de alto desempenho. O Amazon EFS é um sistema de arquivos de rede escalável, mas geralmente tem latência maior e menor taxa de transferência em comparação com o FSx for Lustre para cargas de trabalho de ML intensivas. O ElastiCache (Redis OSS) é um armazenamento de dados em memória e não é a solução ideal para gerenciar milhões de arquivos de vários megabytes, pois não é um sistema de arquivos e não se integra diretamente para acelerar o acesso a arquivos S3 dessa forma.