Firma wybierająca model podstawowy dla Amazon Bedrock chce wiedzieć, ile tekstu lub kontekstu można zawrzeć w pojedynczym prompcie. Jaki czynnik określa ten limit?

Okno kontekstowe (context window) to maksymalna liczba tokenów (słów lub części słów), które model podstawowy może przetworzyć w pojedynczym zapytaniu (prompcie) i jego odpowiedzi. Jest to kluczowy czynnik określający, ile tekstu lub kontekstu można zawrzeć w prompcie. Większe okno kontekstowe pozwala na bardziej złożone i szczegółowe instrukcje oraz dłuższe dane wejściowe. Temperatura (temperature) kontroluje losowość generowanych odpowiedzi, a nie limit długości. Wielkość partii (batch size) odnosi się do liczby próbek przetwarzanych jednocześnie podczas trenowania lub wnioskowania, co nie wpływa bezpośrednio na limit kontekstu pojedynczego prompta. Rozmiar modelu (model size) odnosi się do liczby parametrów modelu, co wpływa na jego możliwości i wydajność, ale nie bezpośrednio na maksymalną długość kontekstu, choć większe modele często mają większe okna kontekstowe.