Un team ha addestrato una CNN su Amazon SageMaker con GPU e la implementerà su un endpoint SageMaker per l'identificazione di immagini minerali in tempo reale. Conoscono già il modello di traffico previsto e devono scegliere il tipo di istanza e la configurazione migliori. Quale approccio richiede il minor sforzo di sviluppo per scegliere la giusta configurazione dell'istanza?

L'opzione corretta è eseguire un job avanzato di SageMaker Inference Recommender. Questo servizio è specificamente progettato per automatizzare la selezione del tipo di istanza e della configurazione ottimali per gli endpoint di inferenza, inclusa la capacità di eseguire test di carico con modelli di traffico noti. L'approccio "avanzato" consente una configurazione più dettagliata e un'analisi approfondita, che è fondamentale quando si ha un modello di traffico previsto e si cerca la configurazione più efficiente. L'opzione che suggerisce il job "predefinito" è meno efficace perché i job predefiniti sono più adatti per scenari in cui non si hanno requisiti di traffico specifici o si desidera una selezione rapida senza un'ottimizzazione approfondita. Le opzioni che propongono l'implementazione manuale e il load testing con strumenti open source (sia su istanze GPU che CPU) richiedono un notevole sforzo di sviluppo e configurazione manuale. SageMaker Inference Recommender è una soluzione gestita che riduce significativamente questo onere, fornendo raccomandazioni basate su metriche di performance e costo. L'uso di istanze CPU per un modello CNN addestrato su GPU è inoltre inefficiente e probabilmente non fornirebbe le prestazioni richieste per l'identificazione in tempo reale.