Bir şirket, dahili olarak kullanmak üzere bir Amazon Bedrock modeli seçmelidir ve çalışanların tercih ettiği tarzda yanıtlar üreten bir model istemektedir. Tercih edilen tarza hangi modelin uyduğunu değerlendirmek için en iyi yaklaşım nedir?

Şirket, çalışanların tercih ettiği belirli bir tarzda yanıtlar üreten bir model aradığından, bu öznel kriteri değerlendirmenin en etkili yolu insan değerlendiricilerdir. Özel prompt veri kümeleri, şirketin kendi kullanım senaryolarını ve tercih edilen tarzı yansıtan soruları içerir. İnsan değerlendiriciler, bu prompt'lara verilen yanıtları şirketin beklentilerine göre derecelendirerek en uygun modeli belirleyebilir. Yerleşik prompt veri kümeleri genel amaçlıdır ve şirketin özel tarz gereksinimlerini karşılamayabilir. Genel model lider tabloları, belirli bir kullanım durumuna veya öznel tarz tercihlerine göre model performansını yansıtmaz. InvocationLatency gibi teknik metrikler modelin hızını gösterir ancak yanıt kalitesi veya tarzıyla ilgili bilgi vermez.