Un team di e-commerce desidera implementare un nuovo modello SageMaker dietro la propria API di raccomandazione in tempo reale esistente senza modificare le applicazioni client e vuole testare il nuovo modello su una parte del traffico di produzione prima del rollout completo. Quale approccio offre questo risultato con il minor overhead operativo?

L'opzione corretta è utilizzare le varianti di produzione di SageMaker sull'endpoint esistente. Questo approccio consente di implementare il nuovo modello come una variante sullo stesso endpoint, reindirizzando una percentuale del traffico in tempo reale senza modificare l'API o le applicazioni client. È la soluzione con il minor overhead operativo perché SageMaker gestisce la suddivisione del traffico e il bilanciamento del carico internamente. Creare un nuovo endpoint SageMaker con un Application Load Balancer (ALB) o un Network Load Balancer (NLB) richiederebbe la gestione e la configurazione di un bilanciatore di carico esterno, aumentando l'overhead operativo. SageMaker batch transform non è adatto per scenari di raccomandazione in tempo reale, poiché è progettato per l'inferenza asincrona su grandi set di dati.