Quando si progettano prompt per Amazon Bedrock che devono funzionare su tutti gli LLM di Bedrock, quale caratteristica può variare tra i modelli?

La lunghezza massima dei token supportata varia significativamente tra i diversi LLM disponibili su Amazon Bedrock. Un prompt che funziona per un modello con un limite elevato potrebbe essere troppo lungo per un altro con un limite inferiore, causando errori o troncamenti. Le altre opzioni sono caratteristiche generalmente uniformi o gestite a livello di servizio: Il supporto dei parametri di inferenza on-demand è una caratteristica di Bedrock stesso, non del singolo LLM. La capacità di controllare la casualità (temperatura) è una funzionalità standard offerta da quasi tutti gli LLM moderni e gestita tramite i parametri di inferenza di Bedrock. La compatibilità con Amazon Bedrock Guardrails è una funzionalità di sicurezza a livello di servizio Bedrock, applicabile a tutti gli LLM integrati.