Un'azienda sta addestrando un modello sostitutivo per uno attualmente servito da un endpoint in tempo reale di SageMaker. Un ingegnere ML deve misurare la latenza e l'accuratezza del nuovo modello sotto il traffico di produzione senza influire sugli utenti attuali. Quale approccio di valutazione soddisfa questo requisito?

Lo shadow testing (o test in parallelo) è l'approccio migliore perché consente di inviare il traffico di produzione al nuovo modello senza che le risposte del nuovo modello influenzino gli utenti. Questo permette di misurare la latenza e l'accuratezza in un ambiente di produzione reale, confrontando le previsioni del nuovo modello con quelle del modello attuale, senza interrompere il servizio. Un deployment blue/green con spostamento del traffico (lineare o canary) reindirizzerebbe attivamente gli utenti al nuovo modello, influenzando la loro esperienza. Un deployment progressivo con dimensione del batch progressiva è anch'esso un metodo di deployment attivo che espone il nuovo modello agli utenti.