Bevor ein neues Modell vollständig veröffentlicht wird, muss ein Unternehmen es online an 10 % des Produktions-Traffics validieren. Das Modell wird von einem SageMaker-Endpunkt hinter einem Application Load Balancer bereitgestellt. Welches Setup bietet die erforderliche 10 % Online-Validierung mit dem geringsten Betriebsaufwand?

Die korrekte Option nutzt SageMaker-Produktionsvarianten, um den Datenverkehr auf verschiedene Modellversionen aufzuteilen. Indem das neue Modell als Variante mit einem Gewicht von 0,1 hinzugefügt wird, leitet SageMaker automatisch 10 % des eingehenden Datenverkehrs an dieses Modell weiter, während die restlichen 90 % an das bestehende Modell gehen. Dies ist die einfachste Methode für eine Online-Validierung (A/B-Tests oder Canary-Deployments) mit dem geringsten Betriebsaufwand, da SageMaker das Traffic-Routing verwaltet. CloudWatch ist das Standardtool zur Überwachung von Endpunktmetriken. Die Option, das Variantengewicht auf 1 zu setzen, würde 100 % des Datenverkehrs an das neue Modell senden, was nicht der Anforderung von 10 % entspricht. Die Erstellung eines separaten Endpunkts erfordert zusätzlichen Verwaltungsaufwand und die manuelle Konfiguration des ALB, was komplexer ist als die integrierte SageMaker-Funktionalität. Die Konfiguration des ALB für die Traffic-Aufteilung ist zwar möglich, aber die SageMaker-Produktionsvarianten sind für diesen Anwendungsfall optimiert und bieten eine einfachere Verwaltung direkt im SageMaker-Service. CloudTrail ist für die Überwachung von API-Aufrufen und nicht für die Echtzeit-Endpunktmetriken geeignet.