DataWave Inc. draait een fraudemodel met lage latency op een SageMaker real-time endpoint (enkele productievariant). Ze willen een shadow test uitvoeren door 5% van het live productieverkeer naar een nieuwe modelvariant (de shadow) te routeren, terwijl 95% naar de huidige variant blijft gaan; antwoorden van het shadow-model mogen niet worden teruggestuurd naar clients (ze worden gelogd voor offline vergelijking). Wat is de meest geschikte, minst ingrijpende manier om dit binnen SageMaker te implementeren?

De correcte optie is de meest geschikte en minst ingrijpende methode. Door een nieuwe productievariant aan te maken met een InitialVariantWeight van 0.05 (of door UpdateEndpointWeightsAndCapacities te gebruiken), wordt 5% van het live verkeer automatisch door SageMaker naar de shadow-variant gerouteerd. De antwoorden van de shadow-variant worden niet teruggestuurd naar de client, wat essentieel is voor een shadow-test, en kunnen lokaal worden gelogd voor offline analyse. Dit maakt gebruik van de ingebouwde functionaliteit van SageMaker voor A/B-testen, maar dan toegepast als shadow-test. De andere opties zijn minder geschikt: Het implementeren van het shadow-model als een aanvullende productievariant met client-side logica om antwoorden te negeren, is minder ideaal omdat het de client onnodig belast en complexiteit toevoegt aan de client-applicatie. Het opzetten van een Application Load Balancer (ALB) met twee afzonderlijke SageMaker endpoints is te complex en voegt onnodige infrastructuur toe. SageMaker kan dit intern afhandelen. Het gebruik van een multi-model endpoint met een aangepaste router Lambda is ook complexer dan nodig en introduceert extra beheeroverhead voor de Lambda-functie.