Musisz hostować wytrenowany model, który w ciągu dnia otrzymuje nierównomierną liczbę żądań. Hostowanie musi skalować się do szczytowego zapotrzebowania, ale minimalizować koszty, gdy jest bezczynne. Które podejście do hostowania spełnia te ograniczenia?

Poprawna odpowiedź to wdrożenie modelu w punkcie końcowym Amazon SageMaker ze skonfigurowanymi zasadami automatycznego skalowania. SageMaker Endpoint z automatycznym skalowaniem dynamicznie dostosowuje liczbę instancji w zależności od obciążenia, co pozwala na obsługę szczytowego zapotrzebowania i minimalizowanie kosztów w okresach niskiego ruchu. Automatyczne skalowanie oparte na metrykach CloudWatch (np. wykorzystanie CPU, liczba inwokacji) jest kluczowe dla efektywności kosztowej i wydajności. Pozostałe opcje są mniej optymalne: Funkcje AWS Lambda ze stałą współbieżnością nie skalują się dynamicznie w sposób efektywny kosztowo dla nierównomiernego ruchu. Klaster Amazon ECS na AWS Fargate ze statyczną liczbą zadań dostosowanych do szczytowego obciążenia będzie generował wysokie koszty, gdy ruch jest niski. Hostowanie wielu kopii modelu za Application Load Balancer w punkcie końcowym SageMaker jest niepotrzebnie złożone, ponieważ SageMaker ma wbudowane mechanizmy skalowania i dystrybucji ruchu.