Un'azienda sanitaria ospita un endpoint SageMaker che prevede il rischio di riammissione dei pazienti. L'azienda dà priorità a un recall elevato e tollera i falsi positivi. Il modello attuale si è degradato, quindi è stato addestrato e distribuito un nuovo modello come variante shadow e il traffico live è stato monitorato per un mese. La variante shadow ha un recall più elevato ma una precisione inferiore rispetto al modello esistente. Cosa dovrebbe fare l'azienda in seguito?

L'azienda dà priorità a un recall elevato e tollera i falsi positivi. La variante shadow ha dimostrato un recall più elevato, allineandosi direttamente all'obiettivo aziendale. Sebbene la precisione sia inferiore, questo è un compromesso accettabile data la tolleranza ai falsi positivi. Estendere il periodo di test non è necessario poiché i requisiti aziendali sono già soddisfatti. L'utilizzo di una distribuzione blue/green è una strategia per ridurre al minimo i rischi durante la transizione, ma non è il passaggio successivo logico quando il modello soddisfa già i criteri desiderati. Disabilitare la variante shadow e ripristinare la principale sarebbe controproducente, poiché il nuovo modello offre un miglioramento significativo rispetto alla metrica chiave.