Przed pełnym wdrożeniem nowego modelu firma musi zweryfikować go online na 10% ruchu produkcyjnego. Model jest obsługiwany przez endpoint SageMaker za Application Load Balancer. Która konfiguracja zapewnia wymaganą 10% walidację online przy najmniejszym narzucie operacyjnym?

Prawidłowa odpowiedź to dodanie nowego modelu jako wariantu produkcyjnego do istniejącego endpointu SageMaker i ustawienie wagi wariantu na 0.1. SageMaker obsługuje testy A/B (zwane również testami canary lub blue/green) poprzez warianty produkcyjne, co pozwala na kierowanie określonego procentu ruchu do nowego modelu bez konieczności modyfikacji infrastruktury poza SageMaker. Ustawienie wagi na 0.1 (czyli 10%) precyzyjnie spełnia wymaganie. Monitorowanie za pomocą Amazon CloudWatch jest standardową praktyką w SageMaker do śledzenia wydajności i metryk. Pozostałe opcje są nieprawidłowe, ponieważ: Ustawienie wagi wariantu na 1 skierowałoby cały ruch do nowego modelu, a nie tylko 10%. Tworzenie oddzielnego endpointu SageMaker dla nowego modelu i używanie wariantów na tym nowym endpoincie jest bardziej złożone operacyjnie i niepotrzebne, gdy SageMaker oferuje natywną funkcjonalność testowania A/B na pojedynczym endpoincie. Konfiguracja ALB do przekazywania 10% ruchu do nowego modelu na istniejącym endpoincie SageMaker jest mniej efektywna i bardziej złożona niż wbudowane mechanizmy SageMaker. Ponadto, monitorowanie za pośrednictwem AWS CloudTrail jest przeznaczone do audytu działań API, a nie do monitorowania wywołań w czasie rzeczywistym i metryk wydajności, do czego służy CloudWatch.