Amazon Bedrock için bir temel model seçen bir şirket, tek bir istemde ne kadar metin veya bağlam bulunabileceğini bilmek istiyor. Bu sınırı hangi faktör belirler?

Bir temel modelin tek bir istemde işleyebileceği metin veya bağlam miktarı, bağlam penceresi (context window) tarafından belirlenir. Bağlam penceresi, modelin aynı anda dikkate alabileceği token (kelime veya alt kelime) sayısının üst sınırıdır. Daha büyük bir bağlam penceresi, modelin daha uzun metinleri anlamasına ve daha tutarlı yanıtlar üretmesine olanak tanır. Diğer seçenekler: Sıcaklık (Temperature), modelin yanıtlarının rastgeleliğini ve yaratıcılığını kontrol eder, bağlam uzunluğunu değil. Yığın boyutu (Batch size), eğitim veya çıkarım sırasında aynı anda işlenen örnek sayısını ifade eder, istem uzunluğunu değil. Model boyutu (Model size), modeldeki parametre sayısını ifade eder ve modelin genel yeteneklerini etkiler, ancak doğrudan tek bir istemin maksimum uzunluğunu belirlemez.