Un'azienda che sceglie un modello di base per Amazon Bedrock vuole sapere quanto testo o contesto può essere incluso in un singolo prompt. Quale fattore determina questo limite?

La finestra di contesto (context window) è il fattore che determina la quantità massima di testo o token che un modello di base può elaborare in un singolo prompt. Include sia l'input che l'output previsto. Superare questo limite causerà un errore o il troncamento del testo. La temperatura controlla la casualità dell'output del modello, non la sua lunghezza. La dimensione del batch si riferisce al numero di prompt elaborati contemporaneamente, non alla lunghezza di un singolo prompt. La dimensione del modello si riferisce al numero di parametri del modello, che influisce sulla sua capacità e prestazioni, ma non direttamente sul limite di token per un singolo prompt.