Uma empresa precisa gerar respostas sintéticas para muitos prompts de um grande conjunto de dados usando uma API. As respostas não precisam ser imediatas. Qual abordagem exige o menor esforço de desenvolvimento?

A inferência em lote do Amazon Bedrock é a abordagem de menor esforço para gerar respostas sintéticas para um grande conjunto de dados de forma assíncrona. Ela foi projetada para processar grandes volumes de dados de uma só vez, sem a necessidade de gerenciar a infraestrutura subjacente ou orquestrar chamadas de API individuais. A inferência em tempo real exigiria o gerenciamento de chamadas de API individuais e a orquestração do processamento, aumentando o esforço de desenvolvimento. Agentes do Amazon Bedrock são mais complexos e projetados para tarefas que exigem raciocínio e tomada de decisão, não apenas geração de texto em lote. O AWS Lambda poderia ser usado, mas exigiria mais código para gerenciar o envio de prompts, o tratamento de respostas e o armazenamento, tornando-o mais trabalhoso do que a inferência em lote nativa do Bedrock.