RetailVision posiada 240 modeli personalizacji dla poszczególnych sklepów (każdy o rozmiarze około 120 MB), które są rzadko odpytywane (minuty między żądaniami dla każdego modelu). Obecnie hostują każdy model jako oddzielny endpoint, co jest kosztowne. Chcą skonsolidować, aby zminimalizować koszty, zachowując jednocześnie akceptowalne opóźnienie zimnego startu, gdy model jest po raz pierwszy żądany. Jakie jest najlepsze podejście do hostowania w SageMaker, aby zmniejszyć koszty w tym scenariuszu?

Pojedynczy endpoint SageMaker multi-model jest najlepszym rozwiązaniem, ponieważ pozwala na hostowanie wielu modeli na jednej instancji, co znacznie obniża koszty w porównaniu do hostowania każdego modelu jako oddzielnego endpointu. Modele są ładowane do pamięci na żądanie z S3, co jest odpowiednie dla rzadko odpytywanych modeli i akceptowalnego opóźnienia zimnego startu. Należy upewnić się, że instancja ma wystarczającą pamięć RAM dla jednocześnie aktywnych modeli. Opcja z instancjami EC2 jest mniej efektywna kosztowo i wymaga większego nakładu pracy na zarządzanie niż SageMaker. Użycie 240 oddzielnych endpointów z autoskalowaniem do zera nadal generowałoby koszty związane z zarządzaniem i zimnymi startami dla każdego endpointu. Asynchroniczne wnioskowanie nie jest odpowiednie dla tego scenariusza, ponieważ wymagałoby utrzymania oddzielnych endpointów i nie rozwiązałoby problemu wysokich kosztów.