Een bedrijf dat een foundation model voor Amazon Bedrock kiest, wil weten hoeveel tekst of context in één prompt kan worden opgenomen. Welke factor bepaalt die limiet?

De context window (ook wel 'contextlengte' of 'tokenlimiet' genoemd) bepaalt de maximale hoeveelheid tekst (input prompt en gegenereerde output) die een foundation model in één keer kan verwerken. Dit is een fundamentele beperking van het model. Temperature regelt de creativiteit van de output, maar heeft geen invloed op de lengte. Batch size is relevant voor efficiëntie bij het verwerken van meerdere prompts tegelijk, niet voor de lengte van een enkele prompt. Model size verwijst naar de complexiteit en capaciteit van het model, maar specificeert niet direct de contextlimiet; de context window is een specifieke parameter binnen die architectuur.