Uma empresa ajustou um large language model no Amazon Bedrock e precisa implantá-lo em produção para lidar com um número constante de solicitações por minuto. Qual opção é a solução mais econômica?

A opção mais econômica para um número constante de solicitações por minuto é adquirir Provisioned Throughput no Amazon Bedrock. Isso garante capacidade dedicada e um custo previsível, otimizado para cargas de trabalho estáveis e contínuas. O throughput sob demanda, embora flexível, pode ser mais caro para cargas de trabalho constantes devido ao seu modelo de precificação por uso. Implantar em EC2 exigiria gerenciamento de infraestrutura e otimização manual, aumentando a complexidade e o custo. Usar S3 com Lambda não é uma solução nativa para hospedar LLMs e seria ineficiente para inferência de modelos grandes.