Une entreprise entraîne un modèle de remplacement pour un modèle actuellement servi par un point de terminaison SageMaker en temps réel. Un ingénieur ML doit mesurer la latence et la précision du nouveau modèle sous le trafic de production sans impacter les utilisateurs actuels. Quelle approche d'évaluation répond à cette exigence ?

Les tests fantômes (shadow testing) sont la méthode la plus appropriée car ils permettent d'acheminer une copie du trafic de production vers le nouveau modèle sans que les utilisateurs finaux ne soient affectés par ses prédictions. Cela permet de mesurer la latence et la précision du nouveau modèle en conditions réelles sans risque pour les utilisateurs. Un échantillonnage à 100 % garantit que toutes les requêtes sont évaluées par le nouveau modèle. Les déploiements bleu/vert (qu'ils soient linéaires ou canary) et les déploiements progressifs impliquent de diriger une partie du trafic réel vers le nouveau modèle, ce qui pourrait impacter les utilisateurs si le nouveau modèle présente des problèmes.