Büyük bir dil modeliyle çıkarımlar oluşturmak için Amazon Bedrock kullanırken, çıkarım maliyetini öncelikli olarak hangi faktör belirler?

Amazon Bedrock'ta büyük dil modelleriyle çıkarım yaparken maliyeti öncelikli olarak belirleyen faktör, işlenen token sayısıdır. Bu, modelin hem girdi (istem) hem de çıktı (yanıt) için kullandığı kelime ve alt kelime birimlerinin toplamıdır. Daha uzun istemler veya daha uzun yanıtlar daha fazla token tüketir ve bu da maliyeti artırır. Seçilen sıcaklık ayarı, modelin yaratıcılığını etkiler ancak doğrudan maliyeti belirlemez. LLM'i eğitmek için kullanılan veri hacmi ve modeli eğitmek için harcanan toplam süre, modelin geliştirme maliyetini etkiler, ancak çıkarım (inference) maliyetini değil. Çıkarım maliyeti, modelin kullanım başına ödeme prensibiyle, yani her bir çıkarım isteği sırasında tüketilen kaynaklara göre hesaplanır.