Bir şirket, müşteri hizmetleri temsilcilerinin zamanla değişen sıkça sorulan soruları yanıtlamasına yardımcı olmak için bir AI/ML çözümü dağıttı. Temsilciler soru sorabilmeli ve yaygın müşteri sorularına otomatik olarak oluşturulan yanıtlar alabilmelidir. Bu gereksinimleri karşılamanın EN uygun maliyetli yolu hangisidir?

En uygun maliyetli çözüm, Prompt Engineering ile birleştirilmiş Retrieval-Augmented Generation (RAG) uygulamaktır. RAG, büyük dil modellerinin (LLM) harici bir bilgi tabanından (şirketin sıkça sorulan soruları gibi) ilgili bilgileri almasını ve bu bilgileri kullanarak daha doğru ve güncel yanıtlar oluşturmasını sağlar. Bu yaklaşım, modeli sürekli olarak yeniden eğitmek veya fine-tune etmekten çok daha uygun maliyetlidir, çünkü yeni veriler eklendiğinde veya mevcut veriler değiştiğinde sadece bilgi tabanının güncellenmesi yeterlidir. Prompt engineering, LLM'den istenen formatta ve içerikte yanıtlar almak için sorguların optimize edilmesini sağlar. Diğer seçenekler (modeli düzenli olarak fine-tune etmek, bağlamsal verilerle eğitmek veya önceden eğitmek ve kıyaslamak) daha yüksek hesaplama maliyetleri ve zaman gerektiren süreçlerdir ve sık değişen veriler için pratik değildir.