Een bedrijf creëert een chatbot om HR-beleidsvragen te beantwoorden met behulp van een groot taalmodel en een grote set digitale documenten. Welke techniek zal de relevantie van de gegenereerde antwoorden het beste verbeteren?

Retrieval Augmented Generation (RAG) verbetert de relevantie van antwoorden door het grote taalmodel (LLM) te voorzien van specifieke, actuele informatie uit een externe kennisbank (zoals de HR-documenten van het bedrijf) voordat het een antwoord genereert. Dit zorgt ervoor dat het LLM antwoorden baseert op feitelijke, relevante bedrijfsgegevens in plaats van alleen op zijn algemene trainingsdata. Few-shot prompting zou het model sturen met enkele voorbeelden, maar niet direct de relevantie van de broninformatie verbeteren. Een temperatuur van 1 zou de creativiteit en willekeur van het model verhogen, wat ongewenst is voor feitelijke HR-antwoorden. Het verkleinen van de token size heeft invloed op de lengte van de input of output, niet direct op de relevantie van de inhoud.