O LLM de uma empresa produz saídas alucinadas (incorretas). Qual ação pode reduzir as alucinações durante a inferência?

Diminuir o parâmetro de temperatura torna as saídas do modelo mais determinísticas e menos aleatórias, reduzindo a probabilidade de gerar informações inventadas (alucinações). Temperaturas mais baixas incentivam o modelo a escolher as palavras mais prováveis, enquanto temperaturas mais altas aumentam a diversidade e a criatividade, mas também o risco de alucinações. As outras opções são incorretas porque: Agents for Amazon Bedrock são usados para orquestrar tarefas, não para supervisionar o treinamento do modelo ou reduzir alucinações diretamente durante a inferência. Remover dados que "causam alucinações" é impraticável e ineficaz, pois as alucinações são um fenômeno complexo inerente aos LLMs, não apenas um problema de dados específicos. Embora um FM treinado para não alucinar seja ideal, essa opção não é uma ação que o usuário pode tomar diretamente para um modelo existente, e a maioria dos FMs ainda pode alucinar sob certas condições.