Firma z branży opieki zdrowotnej hostuje punkt końcowy SageMaker, który przewiduje ryzyko ponownej hospitalizacji pacjentów. Priorytetem jest wysoki recall i firma toleruje fałszywe pozytywy. Obecny model uległ degradacji, więc firma przeszkoliła i wdrożyła nowy model jako wariant shadow i monitorowała ruch na żywo przez miesiąc. Wariant shadow ma wyższy recall, ale niższą precyzję niż istniejący model. Co firma powinna zrobić w następnej kolejności?

Firma priorytetowo traktuje wysoki recall i toleruje fałszywe pozytywy, co jest kluczowe w scenariuszach medycznych, gdzie pominięcie pacjenta wysokiego ryzyka (fałszywie negatywny) jest gorsze niż błędne oznaczenie pacjenta niskiego ryzyka (fałszywie pozytywny). Nowy model w wariancie shadow ma wyższy recall, spełniając główny cel biznesowy. Niższa precyzja jest akceptowalna, ponieważ firma toleruje fałszywe pozytywy. Miesięczny okres monitorowania ruchu na żywo dostarczył wystarczających danych do podjęcia decyzji. Przedłużanie okresu testowania nie jest konieczne, ponieważ model już spełnia kryteria biznesowe. Wdrożenie blue/green jest używane do stopniowego wprowadzania zmian, ale w tym przypadku pełna promocja jest uzasadniona, ponieważ model shadow przewyższa obecny w kluczowym wskaźniku. Wyłączenie wariantu shadow byłoby sprzeczne z celem poprawy modelu.