DataWave Inc. uruchamia model wykrywania oszustw o niskim opóźnieniu na punkcie końcowym SageMaker w czasie rzeczywistym (pojedynczy wariant produkcyjny). Chcą przeprowadzić test shadow, kierując 5% ruchu produkcyjnego na żywo do nowego wariantu modelu (shadow), podczas gdy 95% nadal trafia do bieżącego wariantu; odpowiedzi z modelu shadow nie powinny być zwracane klientom (zostaną zarejestrowane do porównania offline). Jaki jest najbardziej odpowiedni i najmniej inwazyjny sposób implementacji tego w SageMaker?

Ta opcja jest najodpowiedniejsza, ponieważ SageMaker natywnie obsługuje testy shadow (znane również jako testy A/B lub warianty produkcyjne) poprzez przypisywanie wag do wariantów. Ustawienie InitialVariantWeight na 0.05 dla wariantu shadow spowoduje, że 5% ruchu produkcyjnego zostanie skierowane do tego wariantu, bez wpływu na klientów, ponieważ odpowiedzi z wariantu shadow nie są zwracane. Rejestrowanie odpowiedzi lokalnie umożliwia późniejsze porównanie. Pozostałe opcje są mniej odpowiednie: Wdrażanie jako dodatkowy wariant z wagą 0.05 i odrzucanie odpowiedzi po stronie klienta jest niepotrzebnie złożone i wymaga dodatkowej logiki po stronie klienta. Konfiguracja ALB jest bardziej inwazyjna i dodaje złożoności operacyjnej, podczas gdy SageMaker oferuje wbudowane rozwiązanie. Użycie punktu końcowego multi-model z routingiem TargetModel jest przeznaczone do hostowania wielu modeli na jednej instancji i wybierania modelu na podstawie nagłówka, a nie do rozdzielania ruchu produkcyjnego na podstawie wag dla testów shadow.