Um modelo base hospedado no Amazon Bedrock está sendo solicitado com 10 exemplos uma vez por dia e está apresentando bom desempenho. A empresa deseja reduzir os custos mensais. Qual ação reduzirá os custos mantendo o mesmo modelo base?

Reduzir o número de tokens usados em cada prompt é a ação mais eficaz para diminuir os custos mensais, pois o Amazon Bedrock cobra com base no uso de tokens de entrada e saída. Menos tokens por prompt significam menor custo por solicitação, mantendo o mesmo modelo base e seu desempenho. Personalizar o modelo ajustando-o (fine-tuning) incorre em custos adicionais de treinamento e armazenamento, não reduzindo os custos de inferência diretamente. Aumentar o número de tokens usados em cada prompt elevaria os custos, pois mais tokens são processados. Usar o Provisioned Throughput é uma opção para cargas de trabalho previsíveis e de alto volume, mas pode ser mais caro para um uso de 10 prompts por dia, que é de baixo volume.