Model oparty na CPU będzie obsługiwał predykcje w czasie rzeczywistym z przerywanym ruchem w godzinach pracy i okresami bezczynności poza godzinami pracy. Która opcja hostingu SageMaker jest najbardziej opłacalna dla tego wzorca?

SageMaker Serverless Inference jest najbardziej opłacalną opcją dla sporadycznego ruchu, ponieważ automatycznie skaluje zasoby w górę i w dół, w tym do zera, gdy nie ma ruchu, eliminując koszty nieużywanej infrastruktury. Zwiększona provisioned concurrency w godzinach pracy zapewnia niskie opóźnienia podczas szczytów ruchu, bez konieczności utrzymywania zasobów przez cały czas. Wdrożenie w punkcie końcowym SageMaker real-time z automatycznym skalowaniem opartym na harmonogramie jest mniej optymalne, ponieważ punkty końcowe w czasie rzeczywistym nie skalują się do zera, co generuje koszty w okresach bezczynności. SageMaker Asynchronous Inference jest przeznaczony do dużych ładunków, które nie wymagają natychmiastowej odpowiedzi, a nie do predykcji w czasie rzeczywistym. Tworzenie zaplanowanej funkcji AWS Lambda do aktywacji punktu końcowego w czasie rzeczywistym jest niepotrzebnie złożone i nie rozwiązuje problemu kosztów w okresach bezczynności.