Produkcyjny punkt końcowy SageMaker w czasie rzeczywistym, uruchamiający wbudowany model wykrywania obiektów na instancji P3, wykazuje niskie wykorzystanie GPU. Jaka zmiana wdrożenia lepiej wykorzysta udostępnione zasoby wnioskowania?

Poprawna odpowiedź to ponowne wdrożenie modelu na instancji M5 i dołączenie akceleratorów Amazon Elastic Inference. Akceleratory Elastic Inference (EI) są przeznaczone do zwiększania wydajności wnioskowania na instancjach CPU (takich jak M5) przy ułamku kosztów pełnej instancji GPU. Ponieważ model ma niskie wykorzystanie GPU na instancji P3, oznacza to, że nie wykorzystuje w pełni zasobów GPU. EI pozwala na efektywne wykorzystanie zasobów wnioskowania, dopasowując dokładnie potrzebną moc GPU. Pozostałe opcje są mniej optymalne: Przełączenie na zadanie transformacji wsadowej na instancji M5 nie jest rozwiązaniem dla wnioskowania w czasie rzeczywistym. Przeniesienie na większą instancję GPU (P3dn) pogłębi problem niskiego wykorzystania GPU i zwiększy koszty. Hostowanie modelu w klastrze Amazon ECS przy użyciu instancji P3 do wnioskowania nie rozwiązuje problemu niskiego wykorzystania GPU, a jedynie zmienia środowisko hostingu.