Una empresa que elige un modelo fundacional para Amazon Bedrock quiere saber cuánto texto o contexto se puede incluir en una sola prompt. ¿Qué factor determina ese límite?

La ventana de contexto (context window) es el factor que determina la cantidad máxima de texto o tokens que un modelo fundacional puede procesar en una sola prompt. Este límite es inherente al diseño del modelo y define cuánta información puede "recordar" y utilizar para generar una respuesta coherente. Temperature controla la aleatoriedad de la salida del modelo, no la longitud de la entrada. Batch size se refiere al número de ejemplos procesados simultáneamente durante el entrenamiento o la inferencia, no a la longitud de una sola prompt. Model size (tamaño del modelo) se refiere a la cantidad de parámetros del modelo, lo que influye en su capacidad y rendimiento general, pero no directamente en el límite de tokens de la ventana de contexto para una prompt específica.