Un'azienda geospaziale archivia immagini satellitari giornaliere in Amazon S3 per il rilevamento di imbarcazioni. I dati di training crescono in modo incrementale e un job di training SageMaker che utilizza una singola istanza ml.p2.xlarge in modalità di input File ha recentemente iniziato a fallire a causa di spazio di archiviazione locale insufficiente; l'unica modifica è stata l'aumento dei dati. La soluzione deve risolvere il problema di archiviazione ottimizzando le prestazioni e minimizzando i costi di training. Quale modifica dovrebbe apportare lo specialista ML?

La modalità di input Pipe (Pipe Mode) è la soluzione migliore perché elabora i dati in streaming direttamente da S3, senza scaricarli completamente sull'istanza di training. Questo evita il problema di esaurimento dello spazio di archiviazione locale, che è la causa principale del fallimento del job. Inoltre, Pipe Mode può migliorare le prestazioni di training riducendo i tempi di I/O. L'utilizzo di due istanze ml.p2.xlarge aumenterebbe i costi e non risolverebbe il problema dello spazio su disco locale se il modello continua a scaricare tutti i dati su ciascuna istanza. Un'istanza ml.p3.2xlarge ha più risorse computazionali ma non necessariamente più spazio di archiviazione locale sufficiente per un dataset in continua crescita, e sarebbe più costosa. L'uso di Amazon EFS per i dati di training introdurrebbe un filesystem di rete che potrebbe avere latenze più elevate rispetto a S3 e non è la soluzione più efficiente per i dati di training in SageMaker.