Een conversationele assistent routeert verzoeken naar Anthropic Claude via Amazon Bedrock. Gebruikers merken op dat het meerdere keren stellen van vergelijkbare vragen soms verschillende antwoorden oplevert. Welke parameterwijzigingen moet de ML-engineer toepassen om de antwoorden consistenter en minder willekeurig te maken?

Om antwoorden consistenter en minder willekeurig te maken, moeten zowel de temperature-parameter als de topk-parameter worden verlaagd. De temperature-parameter regelt de willekeurigheid van de uitvoer; een lagere waarde (dichter bij 0) maakt de uitvoer deterministischer en minder creatief. De topk-parameter beperkt de woordkeuze tot de k meest waarschijnlijke volgende tokens, wat de variabiliteit vermindert. Het verhogen van deze parameters zou juist leiden tot meer diverse en willekeurige antwoorden, wat het tegenovergestelde is van de gewenste consistentie.