Ein Gesundheitsunternehmen hostet einen SageMaker-Endpunkt, der das Risiko einer Wiederaufnahme von Patienten vorhersagt. Sie priorisieren einen hohen Recall und tolerieren falsch positive Ergebnisse. Das aktuelle Modell hat sich verschlechtert, daher haben sie ein neues Modell als Shadow-Variante trainiert und bereitgestellt und den Live-Traffic einen Monat lang überwacht. Die Shadow-Variante hat einen höheren Recall, aber eine geringere Precision als das bestehende Modell. Was sollte das Unternehmen als Nächstes tun?

Das Unternehmen priorisiert einen hohen Recall und toleriert falsch positive Ergebnisse. Die Shadow-Variante hat einen höheren Recall als das bestehende Modell, was genau den Geschäftsanforderungen entspricht, auch wenn die Precision geringer ist. Da die Shadow-Variante bereits einen Monat lang mit Live-Traffic überwacht wurde und die gewünschte Metrik (Recall) verbessert wurde, sollte sie in die vollständige Produktion überführt werden. Die Verlängerung der Testphase ist unnötig, da die gewünschte Verbesserung bereits festgestellt wurde und die Precision für die aktuelle Anforderung weniger kritisch ist. Eine Blue/Green-Bereitstellung ist eine Strategie zur Risikominimierung bei der Einführung, aber die Shadow-Variante wurde bereits einen Monat lang mit 100 % des Live-Traffics getestet, was einem A/B-Test ähnelt und das Risiko bereits bewertet hat. Die Deaktivierung der Shadow-Variante wäre kontraproduktiv, da sie die gewünschten Geschäftsanforderungen erfüllt.