Firma e-commerce wdrożyła punkt końcowy SageMaker factorization machines (FM) do rekomendacji produktów. Zespół przeszkolił dwa nowe modele (TensorFlow i PyTorch) i musi przeprowadzić testy A/B z następującymi regułami routingu: 70% ruchu do modelu FM, 15% do modelu TensorFlow, 15% do modelu PyTorch; ale dla klientów z Europy cały ruch ma być kierowany do modelu TensorFlow. Która architektura obsługuje takie zachowanie?

Prawidłowa odpowiedź wykorzystuje warianty produkcyjne SageMaker, które są przeznaczone do testów A/B. Możesz przypisać wagi do każdego wariantu (70% dla FM, 15% dla TensorFlow, 15% dla PyTorch), aby rozdzielić ruch. Nagłówek TargetVariant w żądaniu umożliwia kierowanie określonego ruchu (np. z Europy) do konkretnego wariantu (TensorFlow), co spełnia wszystkie wymagania. Pozostałe opcje są nieprawidłowe: Użycie Application Load Balancer (ALB) lub Network Load Balancer (NLB) przed wieloma punktami końcowymi SageMaker jest niepotrzebnie złożone i nie jest standardowym sposobem przeprowadzania testów A/B w SageMaker. Warianty produkcyjne są wbudowaną funkcjonalnością. Dodanie polityki automatycznego skalowania do wariantów jest możliwe, ale nie rozwiązuje problemu kierowania ruchu europejskiego ani nie jest głównym mechanizmem testów A/B. Nagłówek TargetVariant jest kluczowy dla kierowania warunkowego.