Une entreprise qui choisit un modèle de fondation pour Amazon Bedrock souhaite savoir quelle quantité de texte ou de contexte peut être incluse dans une seule invite. Quel facteur détermine cette limite ?

La fenêtre de contexte (context window) est la quantité maximale de texte (tokens) qu'un modèle de fondation peut traiter et prendre en compte simultanément dans une seule invite. Dépasser cette limite entraîne une troncature du texte ou une erreur. La température contrôle la créativité de la réponse, pas la longueur de l'entrée. La taille du lot (batch size) est pertinente pour l'inférence ou l'entraînement, mais pas pour la limite d'une seule invite. La taille du modèle (model size) influence les capacités et la performance, mais la fenêtre de contexte est la métrique spécifique qui définit la quantité de texte qu'il peut ingérer à la fois.