Uno specialista ha un dataset di training molto grande in S3 (milioni di record). Vuole evitare di copiare tutti i dati nel volume EBS da 5 GB di un notebook SageMaker, ma vuole comunque effettuare il training sull'intero dataset. Quale workflow consente di utilizzare l'intero dataset per il training con una copia locale minima?

L'opzione corretta consente di validare rapidamente il codice di training su un piccolo sottoinsieme di dati direttamente nel notebook SageMaker, che ha un volume EBS limitato. Successivamente, per il training sull'intero dataset (milioni di record), si avvia un job di training SageMaker separato. Questo job può leggere i dati direttamente da S3 utilizzando la modalità di input Pipe, che trasmette i dati in streaming al container di training senza doverli scaricare completamente sul volume EBS dell'istanza di training. Questo evita i limiti di spazio e migliora l'efficienza. Le altre opzioni sono meno efficienti o non risolvono il problema dello spazio: Avviare un'istanza EC2 con una Deep Learning AMI e collegare il bucket S3 per poi tornare a SageMaker è un workflow più complesso e ridondante. Usare AWS Glue per testare il training non è il suo scopo principale e non è un metodo standard per validare il codice di training. Effettuare il training sull'intera istanza EC2 Deep Learning dopo aver validato il codice nel notebook SageMaker è possibile, ma non sfrutta l'integrazione e la gestione semplificata dei job di training offerta da SageMaker, in particolare la modalità Pipe.