DataWave Inc. exécute un modèle de détection de fraude à faible latence sur un point de terminaison SageMaker en temps réel (variante de production unique). Ils souhaitent effectuer un test fantôme en acheminant 5 % du trafic de production en direct vers une nouvelle variante de modèle (le fantôme) tandis que 95 % continue vers la variante actuelle ; les réponses du modèle fantôme ne doivent pas être renvoyées aux clients (elles seront enregistrées pour une comparaison hors ligne). Quelle est la méthode la plus appropriée et la moins intrusive pour implémenter cela dans SageMaker ?

La création d'une nouvelle variante de production avec un InitialVariantWeight de 0,05 est la méthode la plus appropriée et la moins intrusive. SageMaker gère automatiquement la répartition du trafic en fonction des poids spécifiés, ce qui permet d'acheminer 5 % du trafic vers le modèle fantôme sans affecter la latence ou la logique côté client pour les réponses aux clients. Les réponses du modèle fantôme peuvent être enregistrées pour une analyse hors ligne, répondant ainsi à l'exigence de ne pas les renvoyer aux clients. L'option d'ignorer les réponses côté client est moins efficace car elle ajoute de la complexité et de la latence côté client. L'utilisation d'un ALB avec la mise en miroir des requêtes est une solution externe qui ajoute de la complexité de gestion et ne tire pas pleinement parti des capacités de routage de trafic intégrées de SageMaker. L'approche du point de terminaison multi-modèle avec une Lambda de routeur personnalisée est trop complexe pour ce cas d'utilisation simple de test fantôme et introduit une latence supplémentaire.