Ein Unternehmen möchte, dass ein Amazon Bedrock LLM konsistentere Ausgaben für denselben Eingabe-Prompt liefert. Welche Änderung des Inferenzparameters macht die Modellantworten deterministischer?

Um konsistentere und deterministischere Ausgaben von einem Amazon Bedrock LLM zu erhalten, sollte der Temperaturwert verringert werden. Die Temperatur steuert die Zufälligkeit der Modellausgaben: Ein niedrigerer Wert (näher an 0) macht die Antworten vorhersehbarer und weniger kreativ, während ein höherer Wert die Zufälligkeit erhöht. Das Erhöhen des Temperaturwerts würde zu variableren und weniger deterministischen Antworten führen. Die Länge der Ausgabe-Tokens oder die maximale Generierungslänge beeinflussen die Länge der Antwort, nicht aber deren Konsistenz oder Determinismus bei wiederholten Prompts.