Uma empresa está treinando modelos no SageMaker usando 200 TB de dados armazenados no S3. O conjunto de dados consiste em muitos arquivos, cada um com mais de 200 MB. A empresa deseja o tempo de processamento mais rápido com o mínimo esforço de configuração. Qual método de acesso a dados eles devem usar?

O modo SageMaker FastFile é a melhor opção porque ele faz streaming dos dados sob demanda diretamente do S3 para as instâncias de treinamento, otimizando o throughput e minimizando o tempo de inicialização, o que é crucial para grandes conjuntos de dados (200 TB) com muitos arquivos grandes (200 MB). Ele oferece alto desempenho com configuração mínima. O modo de arquivo do SageMaker (File mode) copiaria os 200 TB de dados para o armazenamento da instância, o que é inviável devido ao tempo e custo. O Amazon FSx for Lustre é uma boa opção para alto desempenho, mas requer mais configuração e gerenciamento do que o FastFile, que é nativo do SageMaker para essa finalidade. O Amazon EFS não é adequado para conjuntos de dados de 200 TB e alto throughput, pois seu desempenho é inferior ao FSx for Lustre e ao FastFile para esse caso de uso.