Un'azienda di telecomunicazioni ha implementato un modello addestrato su diversi anni di dati provenienti da una regione per identificare i clienti che probabilmente annulleranno il servizio quando chiamano il supporto. L'azienda lancerà un prodotto globale e teme che il modello possa instradare erroneamente molte chiamate da regioni senza dati di addestramento a un team di specialisti. Quale approccio affronta in modo più efficace questo rischio?

Questa opzione è la più efficace perché SageMaker Model Monitor è progettato specificamente per rilevare la deriva dei dati (data drift) e la deriva del modello (model drift) in produzione. Abilitando la cattura dei dati e creando una baseline, è possibile confrontare le caratteristiche dei dati di inferenza in tempo reale con quelle dei dati di addestramento originali. Se i dati delle nuove regioni si discostano significativamente dalla baseline, Model Monitor può generare avvisi tramite CloudWatch, indicando che il modello potrebbe non funzionare correttamente. Questo consente un riaddestramento tempestivo con dati più rappresentativi delle nuove regioni, prevenendo l'instradamento errato delle chiamate. Le altre opzioni sono meno efficaci: SageMaker Debugger è per il debug durante l'addestramento, non per il monitoraggio della deriva in produzione. L'archiviazione delle chiamate e il calcolo dell'accuratezza richiedono etichette manuali e non rilevano proattivamente la deriva dei dati prima che influisca sulle prestazioni. La registrazione CloudWatch e il confronto manuale della varianza sono meno automatizzati e meno specifici per il rilevamento della deriva rispetto a Model Monitor.