Een bedrijf wil een op LLM gebaseerde chatbot die klantenservicemedewerkers in realtime contextuele, op beleid gebaseerde antwoorden kan geven. De kennisbron zijn de beleidsdocumenten van het bedrijf. Wat is de meest kosteneffectieve oplossing?

Retrieval Augmented Generation (RAG) is de meest kosteneffectieve oplossing omdat het de LLM in staat stelt om te verwijzen naar een externe, up-to-date kennisbank (de beleidsdocumenten) zonder de LLM zelf te hoeven aanpassen. Dit vermindert de rekenkosten en de complexiteit aanzienlijk. De LLM opnieuw trainen of fine-tunen is extreem duur en tijdrovend, vooral voor een grote LLM, en vereist herhaalde training bij elke beleidswijziging. Aanvullende pre-training en data-augmentatie zijn ook kostbaar en minder flexibel dan RAG voor het integreren van dynamische, specifieke bedrijfsdocumenten. RAG biedt de benodigde contextuele en beleidsgebaseerde antwoorden in realtime door relevante informatie op te halen en deze als input aan de LLM te geven.