Een bedrijf gebruikt een vooraf getraind LLM voor een aanbevelingschatbot en wil dat de antwoorden van het model beknopt en in een specifieke taal zijn. Welke benadering zal het LLM het beste sturen om aan deze uitvoervereisten te voldoen?

Het verfijnen en beperken van de prompt is de meest effectieve benadering. Door expliciete instructies toe te voegen aan de prompt, zoals "Antwoord beknopt in het Nederlands" of "Gebruik maximaal twee zinnen", stuurt u het LLM direct naar de gewenste uitvoerkenmerken. Dit is de primaire methode om het gedrag van een LLM te controleren zonder het model zelf aan te passen. Het selecteren van een LLM van een andere grootte beïnvloedt de capaciteiten van het model, maar garandeert niet de gewenste uitvoerstijl of taal. Het verhogen van de temperatuurparameter maakt de uitvoer willekeuriger en minder voorspelbaar, wat averechts werkt voor beknoptheid en specifieke taal. Het verhogen van de Top-K sampling-waarde vergroot ook de diversiteit van de gegenereerde tekst, wat de beknoptheid en consistentie kan verminderen.