Ein E-Commerce-Unternehmen hat einen bereitgestellten SageMaker-Endpunkt für Faktorisierungsmaschinen (FM) für Produktempfehlungen. Das Team hat zwei neue Modelle (TensorFlow und PyTorch) trainiert und muss A/B-Tests mit diesen Routing-Regeln durchführen: 70 % des Datenverkehrs an das FM-Modell, 15 % an das TensorFlow-Modell, 15 % an das PyTorch-Modell; aber für Kunden aus Europa den gesamten Datenverkehr an das TensorFlow-Modell weiterleiten. Welche Architektur unterstützt dieses Verhalten?

Die korrekte Lösung nutzt SageMaker-Produktionsvarianten, die A/B-Tests direkt unterstützen. Man erstellt zwei neue Varianten für die TensorFlow- und PyTorch-Modelle und weist ihnen die gewünschten Gewichte (15 % jeweils) zu, während das bestehende FM-Modell 70 % erhält. Durch Aktualisierung der Endpunktkonfiguration werden diese Gewichte angewendet. Für europäische Kunden kann der TargetVariant-Header in der Anfrage gesetzt werden, um den gesamten Datenverkehr gezielt an die TensorFlow-Variante zu leiten, was die spezifische Anforderung erfüllt. Die Option mit Application Load Balancer ist umständlicher und nicht die idiomatische SageMaker-Lösung für A/B-Tests. Ein Network Load Balancer ist für HTTP-Routing weniger geeignet als ein ALB. Die Option mit Auto-Scaling-Richtlinie ist irreführend, da Auto-Scaling die Skalierung von Instanzen und nicht die Traffic-Verteilung zwischen Modellvarianten steuert.