Een bedrijf traint een vervangend model voor een model dat momenteel wordt aangeboden via een SageMaker real-time endpoint. Een ML-engineer moet de latency en nauwkeurigheid van het nieuwe model meten onder productieverkeer zonder de huidige gebruikers te beïnvloeden. Welke evaluatiebenadering voldoet aan deze vereiste?

Schaduwtesten met 100% verkeerssampling is de juiste benadering omdat het nieuwe model wordt geëvalueerd met productieverkeer zonder dat het daadwerkelijk antwoorden terugstuurt naar gebruikers. Dit betekent dat de latency en nauwkeurigheid kunnen worden gemeten onder realistische omstandigheden, terwijl de huidige gebruikerservaring volledig onaangetast blijft. Blue/green-implementaties (met lineaire of canary verkeersverschuiving) sturen een deel van het live verkeer naar het nieuwe model en beïnvloeden daarmee direct de gebruikers. Een rolling deployment beïnvloedt ook direct de gebruikers door geleidelijk het nieuwe model in productie te nemen. Deze methoden zijn niet geschikt als de huidige gebruikers absoluut niet beïnvloed mogen worden tijdens de evaluatie.