DataWave Inc. betreibt ein Betrugsmodell mit geringer Latenz auf einem SageMaker-Echtzeit-Endpunkt (einzelne Produktionsvariante). Sie möchten einen Shadow-Test durchführen, indem sie 5 % des Live-Produktions-Traffics an eine neue Modellvariante (den Shadow) leiten, während 95 % weiterhin an die aktuelle Variante gehen; Antworten vom Shadow-Modell sollen nicht an Clients zurückgegeben werden (sie werden zur Offline-Vergleich protokolliert). Was ist der am besten geeignete und am wenigsten intrusive Weg, dies innerhalb von SageMaker zu implementieren?

Die korrekte Antwort ist die beste Option, da SageMaker integrierte Funktionen für A/B-Tests und Shadow-Tests bietet. Durch das Hinzufügen einer neuen Produktionsvariante mit einem InitialVariantWeight von 0,05 leitet SageMaker automatisch 5 % des Datenverkehrs an das Shadow-Modell weiter, ohne dass clientseitige Änderungen oder zusätzliche Infrastruktur erforderlich sind. Die Antworten des Shadow-Modells können dann serverseitig protokolliert und verworfen werden, bevor sie an den Client zurückgesendet werden, was die Anforderung erfüllt, dass Shadow-Antworten nicht an Clients zurückgegeben werden sollen. Die Option, clientseitige Logik zu verwenden, ist weniger geeignet, da sie eine Änderung des Client-Codes erfordert und die Komplexität erhöht. Die Verwendung eines Application Load Balancers (ALB) ist zu aufwendig und invasiv, da sie eine zusätzliche Infrastrukturschicht einführt. Ein Multi-Modell-Endpunkt ist für diesen Anwendungsfall nicht ideal, da er für das Hosten mehrerer Modelle gedacht ist, die von demselben Endpunkt aufgerufen werden, und das Routing über eine Lambda-Funktion zusätzlichen Overhead verursacht.