Amazon Bedrock üzerinde barındırılan bir temel model, günde bir kez 10 örnekle yönlendiriliyor ve iyi performans gösteriyor. Şirket aylık maliyetleri düşürmek istiyor. Aynı temel modeli korurken maliyetleri düşürecek eylem hangisidir?

Amazon Bedrock'ta temel modellerin maliyetleri genellikle kullanılan token sayısına göre belirlenir. Günde yalnızca 10 örnekle yönlendirilen ve iyi performans gösteren bir model için, her istemde kullanılan token sayısını azaltmak, toplam maliyeti düşürmenin en doğrudan ve etkili yoludur. Diğer seçenekler neden doğru değil: Modeli fine-tuning yaparak özelleştirin: Fine-tuning, modelin performansını artırabilir ancak genellikle daha fazla eğitim maliyeti ve/veya daha karmaşık dağıtım gerektirebilir, bu da maliyetleri düşürmek yerine artırabilir. Her istemde kullanılan token sayısını artırın: Bu, maliyetleri düşürmek yerine artıracaktır, çünkü daha fazla token daha yüksek maliyet anlamına gelir. Provisioned Throughput kullanın: Provisioned Throughput, yüksek ve öngörülebilir iş yükleri için maliyet etkin olabilir, ancak günde sadece 10 istem gibi düşük kullanım durumlarında genellikle isteğe bağlı (on-demand) kullanımdan daha pahalıya mal olur.