Firma szkoli model zastępczy dla tego, który jest obecnie obsługiwany przez endpoint SageMaker w czasie rzeczywistym. Inżynier ML musi zmierzyć opóźnienie i dokładność nowego modelu pod obciążeniem produkcyjnym bez wpływu na obecnych użytkowników. Które podejście do oceny spełnia ten wymóg?

Testowanie w tle (shadow testing) jest prawidłową odpowiedzią, ponieważ pozwala na ocenę nowego modelu w warunkach produkcyjnych z rzeczywistym ruchem, bez wpływu na użytkowników końcowych. Nowy model przetwarza te same żądania co model produkcyjny, ale jego wyniki nie są zwracane do użytkownika. Dzięki temu można mierzyć opóźnienie i dokładność pod obciążeniem. Wdrożenia blue/green z przesunięciem ruchu (liniowym lub canary) kierują część ruchu do nowego modelu, co może wpłynąć na użytkowników, jeśli nowy model działa gorzej. Wdrożenie kroczące również wprowadza nowy model do użytku, co wiąże się z ryzykiem wpływu na użytkowników.