Firma tworząca asystenta redakcyjnego odnotowuje niskie wykorzystanie w fazie pilotażowej, nie jest w stanie przewidzieć przyszłego ruchu i chce zminimalizować koszty. Która opcja wdrożenia najlepiej pasuje do tych ograniczeń?

Amazon Bedrock z On-Demand Throughput jest najlepszym rozwiązaniem, ponieważ pozwala płacić tylko za rzeczywiste użycie, co minimalizuje koszty w sytuacji nieprzewidywalnego i niskiego ruchu. On-Demand Throughput jest idealny dla faz pilotażowych i zmiennego obciążenia. Użycie instancji Amazon EC2 zasilanych przez GPU wiązałoby się z wyższymi kosztami stałymi i koniecznością zarządzania infrastrukturą, co jest nieefektywne przy niskim wykorzystaniu. Amazon Bedrock z Provisioned Throughput wymagałby rezerwacji określonej przepustowości, co generowałoby koszty nawet przy niskim wykorzystaniu i byłoby nieodpowiednie dla nieprzewidywalnego ruchu. Amazon SageMaker JumpStart jest platformą do wdrażania modeli ML, ale nie oferuje tak elastycznego modelu rozliczeniowego dla LLM jak Bedrock On-Demand, a także wymaga większego zarządzania modelem.