Model podstawowy hostowany na Amazon Bedrock jest codziennie wywoływany z 10 przykładami i działa dobrze. Firma chce obniżyć miesięczne koszty. Które działanie obniży koszty, zachowując ten sam model podstawowy?

Prawidłowa odpowiedź to zmniejszenie liczby tokenów używanych w każdym prompcie. Koszty w Amazon Bedrock są często naliczane na podstawie liczby tokenów przetwarzanych przez model. Zmniejszenie liczby tokenów w każdym wywołaniu bezpośrednio obniży miesięczne koszty, ponieważ płacisz mniej za każde zapytanie, zachowując ten sam model podstawowy. Dostosowanie modelu poprzez dostrojenie (fine-tuning) może poprawić wydajność, ale niekoniecznie obniży koszty, a może nawet je zwiększyć ze względu na dodatkowe opłaty za dostrojenie i przechowywanie. Zwiększenie liczby tokenów w prompcie zwiększyłoby koszty. Użycie Provisioned Throughput jest opłacalne dla dużych, przewidywalnych obciążeń, ale dla 10 wywołań dziennie jest to prawdopodobnie droższe niż płatność za token.