Een fraudedetectiemodel draait in productie op een SageMaker-endpoint. Een nieuwe modelversie moet worden geëvalueerd met live verkeer zonder de productiegebruikers te beïnvloeden. Welke strategie bereikt dit?

Shadow testing (schaduwtesten) is de juiste strategie. Hierbij wordt het nieuwe model naast het productiemodel geïmplementeerd. Live verkeer wordt naar beide modellen gestuurd, maar alleen de output van het productiemodel wordt gebruikt voor de gebruikersrespons. De output van het schaduwmodel wordt verzameld en geanalyseerd om de prestaties te evalueren zonder de gebruikerservaring te beïnvloeden. SageMaker Debugger is bedoeld voor het debuggen en profilen van trainingsjobs, niet voor het evalueren van modellen met live verkeer in productie. Blue/green deployment verschuift verkeer naar het nieuwe model, wat de gebruikers kan beïnvloeden als het nieuwe model problemen heeft, vooral als al het verkeer in één keer wordt verschoven. Zelfs met een canary-achtige verschuiving is er een risico op impact, wat in de vraag expliciet vermeden moet worden ("zonder de productiegebruikers te beïnvloeden").