Ein Unternehmen, das ein Foundation Model für Amazon Bedrock auswählt, möchte wissen, wie viel Text oder Kontext in einem einzigen Prompt enthalten sein kann. Welcher Faktor bestimmt diese Grenze?

Das Kontextfenster (Context Window) bestimmt die maximale Anzahl von Token (Wörtern oder Satzteilen), die ein Foundation Model in einem einzigen Prompt verarbeiten kann. Überschreitet der Prompt diese Grenze, wird der Text abgeschnitten oder der Prompt abgelehnt. Die Temperature steuert die Kreativität der Modellantwort, hat aber keinen Einfluss auf die Prompt-Länge. Die Batch Size bezieht sich auf die Anzahl der Prompts, die gleichzeitig verarbeitet werden, und nicht auf die Länge eines einzelnen Prompts. Die Model Size (Modellgröße) beeinflusst die Leistungsfähigkeit und Komplexität des Modells, aber nicht direkt die maximale Eingabelänge, die durch das Kontextfenster definiert ist.