Podczas projektowania promptów dla Amazon Bedrock, które muszą działać we wszystkich modelach LLM Bedrock, która cecha może się różnić między modelami?

Maksymalna długość tokena (kontekst) może się znacznie różnić między modelami LLM dostępnymi w Amazon Bedrock. Niektóre modele mogą obsługiwać tysiące tokenów, podczas gdy inne mają znacznie mniejsze limity. Projektując prompty, które mają działać uniwersalnie, należy wziąć pod uwagę najmniejszy wspólny mianownik dla długości tokena, aby uniknąć obcinania lub błędów. Obsługa parametrów wnioskowania na żądanie (on-demand inference) jest standardową funkcjonalnością Bedrock dla wszystkich modeli. Możliwość kontrolowania losowości wyjścia (np. temperatura) jest również powszechnie dostępna w większości modeli LLM. Kompatybilność z Amazon Bedrock Guardrails to cecha platformy, a nie indywidualnego modelu, i jest zaprojektowana do współpracy ze wszystkimi obsługiwanymi modelami.