Un modèle de base hébergé sur Amazon Bedrock est sollicité avec 10 exemples une fois par jour et fonctionne bien. L'entreprise souhaite réduire les coûts mensuels. Quelle action permettra de réduire les coûts tout en conservant le même modèle de base ?

La réduction du nombre de tokens utilisés dans chaque prompt est la méthode la plus directe pour réduire les coûts. Les modèles de fondation sur Amazon Bedrock sont généralement facturés en fonction du nombre de tokens traités (entrée et sortie). Moins de tokens par prompt signifie une consommation moindre et donc des coûts réduits, sans changer le modèle sous-jacent ni son efficacité pour les 10 exemples quotidiens. La personnalisation par affinage (fine-tuning) est coûteuse et n'est pas nécessaire si le modèle fonctionne déjà bien. Augmenter le nombre de tokens augmenterait les coûts. L'utilisation du débit provisionné (Provisioned Throughput) est destinée à garantir des performances pour des charges de travail importantes et prévisibles, mais elle implique un coût fixe et n'est pas une stratégie de réduction des coûts pour un usage léger et stable comme 10 requêtes par jour.