A VideoAI armazena 40 TB de quadros de vídeo brutos no S3 e treina em instâncias de GPU que possuem apenas 1 TB de armazenamento de instância. Seu loop de treinamento lê o conjunto de dados sequencialmente por várias épocas e pode transmitir registros de interfaces compatíveis com stdin. Qual modo de entrada do SageMaker eles devem escolher e por quê?

O modo Pipe (InputMode='Pipe') é a escolha correta porque permite que o contêiner de treinamento transmita dados diretamente do S3, sem a necessidade de baixar todo o conjunto de dados para o armazenamento local da instância. Isso é crucial quando o conjunto de dados (40 TB) excede significativamente o armazenamento disponível na instância (1 TB). O algoritmo suporta streaming sequencial, o que é ideal para o modo Pipe. O modo File (InputMode='File') é inadequado, pois tentaria baixar todo o conjunto de dados para o disco local, o que é inviável devido à limitação de armazenamento. A afirmação de que o SageMaker estenderá automaticamente o disco da instância para acomodar o conjunto de dados é incorreta. Definir EBSVolumeSize como 50 TB não é a solução ideal para streaming e persistência de dados entre épocas no modo Pipe; o modo Pipe é projetado para streaming, não para persistência de grandes volumes no disco. Montar o S3 como um sistema de arquivos POSIX no modo File não é uma funcionalidade nativa do SageMaker para lidar com conjuntos de dados tão grandes e não resolve a limitação de armazenamento da instância.