Uma empresa deseja que um chatbot baseado em LLM forneça aos agentes de atendimento ao cliente respostas contextuais e baseadas em políticas em tempo real. A fonte de conhecimento são os documentos de política da empresa. Qual é a solução mais econômica?

A Geração Aumentada por Recuperação (RAG) é a solução mais econômica porque permite que o LLM acesse informações atualizadas e específicas da política em tempo real, sem a necessidade de retreinamento ou ajuste fino extensivo do modelo base. O RAG recupera documentos relevantes da base de conhecimento (documentos de política) e os usa para contextualizar a consulta do usuário antes de gerar uma resposta. Retreinar o LLM inteiro é extremamente caro e demorado, exigindo grandes recursos computacionais e conjuntos de dados. Ajustar (fine-tune) o LLM é menos dispendioso que o retreinamento completo, mas ainda requer recursos significativos e pode não ser ideal para informações que mudam frequentemente. O pré-treinamento adicional e o aumento de dados são etapas de treinamento que também são caras e demoradas, e não abordam a necessidade de informações em tempo real de forma eficiente.