Ein Unternehmen trainiert ein Ersatzmodell für eines, das derzeit von einem SageMaker Echtzeit-Endpunkt bereitgestellt wird. Ein ML-Ingenieur muss die Latenz und Genauigkeit des neuen Modells unter Produktions-Traffic messen, ohne die aktuellen Benutzer zu beeinträchtigen. Welcher Bewertungsansatz erfüllt diese Anforderung?

Shadow-Testing (Schatten-Testing) ist die beste Methode, um ein neues Modell im Produktions-Traffic zu bewerten, ohne die aktuellen Benutzer zu beeinträchtigen. Dabei wird der gesamte eingehende Produktions-Traffic (100 % Sampling) an das neue Modell gespiegelt, aber nur die Vorhersagen des alten Modells werden an die Benutzer zurückgegeben. Dies ermöglicht die Messung von Latenz und Genauigkeit des neuen Modells unter realen Bedingungen, ohne dass es sich auf die Endbenutzer auswirkt. Eine Blue/Green-Bereitstellung mit linearer oder Canary-Traffic-Verschiebung würde bedeuten, dass ein Teil des Live-Traffics direkt an das neue Modell geleitet wird, was die Benutzererfahrung beeinträchtigen könnte, falls das neue Modell Probleme hat. Eine Rolling-Bereitstellung würde ebenfalls das neue Modell direkt in den Produktionspfad einführen, was das Risiko birgt, die Benutzer zu beeinflussen.