FinInsights wdrożyło punkt końcowy modelu podstawowego JumpStart do generowania tekstu finansowego o niskim opóźnieniu na instancji ml.g5.xlarge. Po udanym pilotażu potrzebują 3-krotnie wyższej przepustowości ciągłej z podobnym zachowaniem opóźnienia. Jaka jest najbardziej bezpośrednia, obsługiwana zmiana w punkcie końcowym SageMaker JumpStart, aby spełnić to wymaganie?

Aby trzykrotnie zwiększyć przepustowość przy zachowaniu niskiego opóźnienia, najskuteczniejszym podejściem jest skalowanie zasobów obliczeniowych. Można to osiągnąć na dwa sposoby: używając większej instancji GPU (np. ml.g5.12xlarge), która oferuje więcej mocy obliczeniowej, lub zwiększając liczbę instancji ml.g5.xlarge za punktem końcowym i włączając automatyczne skalowanie. Obie metody bezpośrednio zwiększają zdolność punktu końcowego do przetwarzania większej liczby żądań. Ponowne wdrożenie modelu z tą nową konfiguracją jest niezbędne, aby zmiany weszły w życie. Tworzenie nowego zadania HyperParameterTuningJob nie zwiększy bezpośrednio przepustowości, ponieważ służy do optymalizacji hiperparametrów modelu, a nie infrastruktury. Dołączenie akceleratora Elastic Inference jest przeznaczone do zwiększania przepustowości CPU, a nie GPU, i nie jest odpowiednie dla modeli generowania tekstu. Przełączenie na SageMaker Serverless Inference może wprowadzić zmienne opóźnienia i nie gwarantuje stałej, trzykrotnie wyższej przepustowości dla generowania tekstu, gdzie stała wydajność jest kluczowa.