Punkt końcowy SageMaker uruchamiający wbudowany model Image Classification na instancji ml.m5.xlarge doświadcza niedopuszczalnych opóźnień wnioskowania, a ModelLatency jest dominującym czynnikiem. Opóźnienia pogarszają się, gdy wielu użytkowników jednocześnie wywołuje punkt końcowy. Które działanie zmniejszy opóźnienia wnioskowania dla tych badaczy?

Dołączenie akceleratora Amazon Elastic Inference (EIA) jest prawidłową odpowiedzią, ponieważ EIA jest zaprojektowany specjalnie do przyspieszania wnioskowania w modelach uczenia maszynowego przy niższych kosztach niż pełne instancje GPU. Zmniejsza to opóźnienia, co jest kluczowe w scenariuszu wielu jednoczesnych użytkowników. Zmiana na instancję ml.t3 z możliwością burstu jest nieodpowiednia, ponieważ instancje t3 są przeznaczone do obciążeń o niskim wykorzystaniu i nie poradzą sobie z wysokim obciążeniem wnioskowania, co pogorszy problem opóźnień. Włączenie SageMaker Autopilot jest narzędziem do automatycznego dostrajania modeli, a nie do rozwiązywania problemów z opóźnieniami wnioskowania w czasie rzeczywistym na punkcie końcowym. Zmiana na instancję zoptymalizowaną pod kątem pamięci nie rozwiąże problemu opóźnień wnioskowania, ponieważ problemem jest wydajność obliczeniowa, a nie brak pamięci.