Un ingegnere ML necessita di librerie Python personalizzate disponibili nei job di elaborazione, nei job di training e nelle pipeline di SageMaker. Quale opzione offre questa funzionalità con il MINOR sforzo di implementazione?

L'opzione corretta è creare un'immagine Docker personalizzata, caricarla su Amazon ECR e utilizzarla. Questo è il metodo standard e più efficiente per includere librerie Python personalizzate o non standard in SageMaker. SageMaker è progettato per funzionare con container Docker, consentendo di definire l'ambiente di esecuzione in modo coerente per elaborazione, training e pipeline. Installare manualmente le librerie all'interno dei container predefiniti non è fattibile o sostenibile, poiché questi container sono gestiti da AWS e non permettono modifiche persistenti. Creare un'istanza notebook SageMaker e usare Lambda per installare librerie all'avvio è un approccio macchinoso e non scalabile per job e pipeline, che richiedono ambienti riproducibili e isolati. Eseguire il codice esternamente su istanze EC2 e importare i risultati in S3 introduce complessità non necessarie e disaccoppia il processo, rendendo la gestione e la riproducibilità più difficili rispetto all'uso di container personalizzati.