Een bedrijf wil dat een Amazon Bedrock LLM consistentere outputs geeft voor dezelfde inputprompt. Welke wijziging in de inferentieparameters zal de modelantwoorden deterministischer maken?

Het verlagen van de temperatuurwaarde maakt de modelantwoorden deterministischer. Temperatuur regelt de willekeurigheid van de output; een lagere temperatuur (dichter bij 0) zorgt ervoor dat het model de meest waarschijnlijke tokens kiest, wat leidt tot consistentere en minder creatieve antwoorden voor dezelfde input. Het verhogen van de temperatuur zou de output willekeuriger en gevarieerder maken. Het wijzigen van de lengte van de outputtokens of de maximale generatielengte beïnvloedt de lengte van de respons, niet de determinisme of willekeurigheid ervan.