Lors de la conception d'invites pour Amazon Bedrock qui doivent fonctionner avec tous les LLM Bedrock, quelle caractéristique peut varier d'un modèle à l'autre ?

La longueur maximale de jeton prise en charge varie considérablement entre les différents LLM disponibles sur Amazon Bedrock. Chaque modèle a ses propres limites concernant la quantité de texte qu'il peut traiter en entrée et générer en sortie, ce qui est crucial pour la conception d'invites. Le support des paramètres d'inférence à la demande est une caractéristique de Bedrock lui-même, pas des modèles individuels. La capacité à contrôler le caractère aléatoire (température) est une fonctionnalité standard offerte par l'API Bedrock pour la plupart des LLM. La compatibilité avec les garde-fous Amazon Bedrock est également une caractéristique de la plateforme Bedrock, conçue pour fonctionner avec tous les modèles qu'elle héberge.