Zespół chce uruchomić wiele wersji modelu predykcyjnego w środowisku produkcyjnym na dłuższą metę, kontrolować proporcje wnioskowań obsługiwanych przez każdą wersję i zminimalizować wysiłek włożony w implementację. Które rozwiązanie najlepiej spełnia te potrzeby?

Prawidłowa odpowiedź to hostowanie modeli w SageMaker i utworzenie pojedynczej konfiguracji punktu końcowego z wieloma wariantami produkcyjnymi, dostosowując wagi wariantów w celu kontrolowania ruchu. Amazon SageMaker obsługuje warianty produkcyjne, które pozwalają na wdrożenie wielu wersji modelu pod jednym punktem końcowym. Można przypisać wagi ruchowe do każdego wariantu, aby kontrolować proporcje wnioskowań kierowanych do każdej wersji, co jest idealne do testowania A/B lub stopniowego wdrażania. Minimalizuje to wysiłek, ponieważ zarządzasz tylko jednym punktem końcowym. Tworzenie oddzielnych punktów końcowych dla każdego modelu zwiększa złożoność zarządzania. Kompilowanie modeli za pomocą SageMaker Neo jest przeznaczone do optymalizacji dla konkretnych urządzeń, a nie do zarządzania wieloma wersjami w środowisku produkcyjnym. Transformacja wsadowa nie jest odpowiednia dla wnioskowań w czasie rzeczywistym.