Een bedrijf heeft een AI/ML-oplossing geïmplementeerd om medewerkers van de klantenservice te helpen bij het beantwoorden van veelgestelde vragen die in de loop van de tijd veranderen. Medewerkers moeten vragen kunnen stellen en automatisch gegenereerde antwoorden ontvangen op veelvoorkomende klantvragen. Welke aanpak is de MEEST kosteneffectieve manier om aan deze vereisten te voldoen?

De meest kosteneffectieve aanpak is Retrieval-Augmented Generation (RAG) in combinatie met prompt engineering. RAG stelt het AI/ML-model in staat om relevante informatie op te halen uit een actuele, externe kennisbank (zoals documenten met veelgestelde vragen) en deze te gebruiken om nauwkeurige en actuele antwoorden te genereren. Dit is kosteneffectief omdat het frequent en duur opnieuw trainen of fine-tunen van het model overbodig maakt wanneer de informatie verandert. In plaats daarvan wordt de kennisbank bijgewerkt, wat veel minder rekenkracht en tijd vergt. Prompt engineering optimaliseert de interactie met het model voor betere resultaten. Regelmatig fine-tunen is duur en tijdrovend. Het trainen of pre-trainen en benchmarken van het model met contextuele data is ook duur en inefficiënt voor snel veranderende informatie, omdat elke wijziging een nieuwe trainingscyclus zou vereisen.