Firma chce, aby chatbot oparty na LLM dostarczał agentom obsługi klienta kontekstowe odpowiedzi oparte na zasadach w czasie rzeczywistym. Źródłem wiedzy są dokumenty polityki firmy. Jakie jest najbardziej opłacalne rozwiązanie?

RAG (Retrieval Augmented Generation) jest najbardziej opłacalnym rozwiązaniem, ponieważ pozwala na dynamiczne pobieranie odpowiednich fragmentów dokumentów polityki i wykorzystywanie ich jako kontekstu dla LLM, bez konieczności ponownego szkolenia lub dostrajania modelu. Dzięki temu LLM może generować trafne odpowiedzi w czasie rzeczywistym, bazując na aktualnych informacjach. Ponowne przeszkolenie całego LLM jest bardzo kosztowne i czasochłonne. Dostosowanie (fine-tuning) jest mniej kosztowne niż ponowne szkolenie, ale nadal wymaga znacznych zasobów i może prowadzić do "zapominania" ogólnej wiedzy przez model. Dodatkowe wstępne szkolenie i rozszerzanie danych również są kosztowne i nie zapewniają dynamicznego dostępu do aktualnych informacji w czasie rzeczywistym w taki sposób, jak RAG.