Firma posiada wytrenowany model ML w Amazon SageMaker, który musi być hostowany w środowisku produkcyjnym z wysoką dostępnością, minimalnym opóźnieniem i możliwością obsługi nieprzewidywalnych skoków żądań. Każde żądanie będzie miało rozmiar od 1 KB do 3 MB. Zdolność do wnioskowania musi skalować się proporcjonalnie do zapotrzebowania. Jak firma powinna wdrożyć model?

Utworzenie endpointu SageMaker real-time inference z włączonym autoskalowaniem jest optymalnym rozwiązaniem. SageMaker real-time endpoints są zaprojektowane do obsługi wnioskowania o niskim opóźnieniu i wysokiej dostępności, automatycznie skalując się w odpowiedzi na zmieniające się obciążenie, co spełnia wymagania dotyczące nieprzewidywalnych skoków żądań. Obsługują one również szeroki zakres rozmiarów ładunków. Hostowanie modelu w klastrze Amazon ECS z zaplanowanym skalowaniem opartym na CPU nie jest idealne, ponieważ skalowanie zaplanowane nie reaguje dynamicznie na nieprzewidywalne skoki żądań, a skalowanie oparte na CPU może nie być najlepszą metryką dla wnioskowania. Instalowanie SageMaker Operatora na klastrze Amazon EKS i wdrażanie modelu z poziomym autoskalowaniem podów opartym na zużyciu pamięci dodaje niepotrzebnej złożoności i nie jest natywnym, zarządzanym rozwiązaniem dla wnioskowania w SageMaker. Uruchamianie wnioskowania na instancjach Spot w Spot Fleet za Application Load Balancerem jest rozwiązaniem bardziej odpowiednim dla obciążeń, które mogą tolerować przerwy i nie wymagają gwarantowanego niskiego opóźnienia, a także jest bardziej złożone w zarządzaniu.