Firma zajmująca się dostawami online przechowuje jeden model XGBoost na miasto w S3 i obecnie hostuje każdy model na własnej instancji EC2 (wykorzystanie 5%). Chcą, aby aplikacja internetowa wybierała najszybszego kuriera w czasie rzeczywistym zarówno dla istniejących, jak i nowych użytkowników, minimalizując jednocześnie narzut operacyjny. Które rozwiązanie osiągnie to przy najmniejszym wysiłku zarządczym?

Poprawna odpowiedź to wdrożenie wielomodelowego endpointu SageMaker. To rozwiązanie jest optymalne, ponieważ serwer wielomodelowy SageMaker umożliwia hostowanie wielu modeli na pojedynczej instancji, co znacznie zmniejsza koszty operacyjne i zarządzanie w porównaniu do utrzymywania oddzielnych instancji EC2 dla każdego modelu. Aplikacja internetowa może dynamicznie wybierać odpowiedni model, przekazując parametr TargetModel. Pozostałe opcje są mniej efektywne: Notebook SageMaker do transformacji wsadowej nie zapewnia wnioskowania w czasie rzeczywistym. Konsolidacja do pojedynczej instancji EC2 z serwerem modeli wymagałaby ręcznego zarządzania infrastrukturą i skalowaniem, co zwiększa narzut operacyjny. Tworzenie oddzielnych endpointów SageMaker dla każdego miasta jest kosztowne i zwiększa złożoność zarządzania, ponieważ każdy endpoint wymagałby dedykowanych zasobów.