Zespół przeszkolił sieć CNN w Amazon SageMaker z użyciem GPU i zamierza wdrożyć ją na endpoint SageMaker do identyfikacji obrazów minerałów w czasie rzeczywistym. Zespół zna już przewidywany wzorzec ruchu i musi wybrać najlepszy typ instancji oraz konfigurację. Które podejście wymaga najmniejszego wysiłku rozwojowego, aby wybrać odpowiednią konfigurację instancji?

SageMaker Inference Recommender Advanced jest najlepszym wyborem, ponieważ jest to zautomatyzowane narzędzie SageMaker, które testuje obciążeniowo model z dostarczonym wzorcem ruchu i rekomenduje najlepszy typ instancji oraz konfigurację, minimalizując wysiłek rozwojowy. Wersja Default jest mniej dokładna i nie pozwala na tak precyzyjne dostosowanie wzorca ruchu. Ręczne wdrażanie modelu na endpointach GPU lub CPU z użyciem Lambda i API Gateway, a następnie testowanie obciążeniowe narzędziami open-source, wymaga znacznie większego wysiłku rozwojowego i zarządzania infrastrukturą, a także nie zapewnia automatycznej optymalizacji konfiguracji instancji.