Een zorgbedrijf host een SageMaker-endpoint dat het risico op heropname van patiënten voorspelt. Ze geven prioriteit aan een hoge recall en tolereren vals-positieven. Het huidige model is verslechterd, dus hebben ze een nieuw model getraind en geïmplementeerd als een shadow variant en het live verkeer gedurende één maand gemonitord. De shadow heeft een hogere recall, maar een lagere precisie dan het bestaande model. Wat moet het bedrijf nu doen?

Het bedrijf geeft prioriteit aan een hoge recall en tolereert vals-positieven. De shadow variant heeft een hogere recall, wat direct aansluit bij de bedrijfsdoelstellingen. Hoewel de precisie lager is, is dit een aanvaardbare afweging gezien de gestelde prioriteit. De monitoringperiode van één maand heeft voldoende gegevens opgeleverd om deze conclusie te trekken. Het verlengen van de testperiode is onnodig, aangezien de prestaties al overeenkomen met de vereisten. Blue/green deployment is nuttig voor risicobeperking bij onzekerheid, maar hier is de voorkeur duidelijk. Het uitschakelen van de shadow variant zou betekenen dat de verbeterde recall wordt opgegeven.