Bir şirket, müşteri hizmetleri temsilcilerine gerçek zamanlı olarak bağlamsal, politika tabanlı yanıtlar sağlamak için LLM tabanlı bir sohbet robotu istiyor. Bilgi kaynağı, şirketin politika belgeleridir. En uygun maliyetli çözüm nedir?

Şirket, müşteri hizmetleri temsilcilerine gerçek zamanlı, bağlamsal ve politika tabanlı yanıtlar sağlamak için bir LLM tabanlı sohbet robotu istiyor. Bilgi kaynağı, şirketin politika belgeleridir. En uygun maliyetli çözüm, Retrieval Augmented Generation (RAG) kullanmaktır. RAG, LLM'i politika belgeleri üzerinde yeniden eğitmek veya ince ayar yapmak yerine, çalışma zamanında ilgili politika içeriğini alır ve LLM'e bağlam olarak sunar. Bu yaklaşım, büyük bir LLM'i yeniden eğitmek veya ince ayar yapmak için gereken yüksek hesaplama maliyetlerinden ve zamanından kaçınarak, daha hızlı ve uygun maliyetli bir çözüm sunar. Diğer seçenekler (yeniden eğitim, ince ayar, ek ön eğitim ve veri artırma) çok daha maliyetli ve zaman alıcıdır çünkü tüm modelin veya önemli bir kısmının yeniden eğitilmesini gerektirirler.