Uma empresa de geolocalização armazena imagens de satélite diárias no Amazon S3 para detecção de embarcações. Os dados de treinamento crescem incrementalmente e um trabalho de treinamento do SageMaker usando uma única instância ml.p2.xlarge no modo de entrada File recentemente começou a falhar devido a armazenamento local insuficiente; a única mudança foi mais dados. A solução deve corrigir o problema de armazenamento, otimizando o desempenho e minimizando o custo de treinamento. Que mudança o especialista em ML deve fazer?

O modo de entrada Pipe (Pipe Mode) no SageMaker transmite dados diretamente do S3 para o contêiner de treinamento, sem a necessidade de baixar todo o conjunto de dados para o armazenamento local da instância. Isso resolve o problema de armazenamento insuficiente e otimiza o desempenho, pois o treinamento pode começar enquanto os dados ainda estão sendo transmitidos, além de reduzir custos ao evitar o download desnecessário de dados. Usar duas instâncias ml.p2.xlarge aumentaria o custo e não resolveria o problema de armazenamento local, pois cada instância ainda tentaria baixar os dados. Uma instância ml.p3.2xlarge é mais potente, mas também não resolveria o problema de armazenamento local, e seria mais cara. O Amazon EFS é uma solução de armazenamento de arquivos em rede, mas introduziria latência e complexidade adicionais em comparação com o Pipe Mode, que é otimizado para o S3.