Un chatbot basé sur un modèle de fondation Amazon Bedrock recherche un vaste corpus d'articles de recherche, mais ses performances sont médiocres en raison de nombreux termes scientifiques spécialisés. Après l'ingénierie des invites (prompt engineering), les performances sont toujours insuffisantes. Que devrait faire l'entreprise pour améliorer le chatbot ?

Le fine-tuning par adaptation de domaine est la solution la plus efficace car il permet au modèle de fondation d'apprendre et d'intégrer la terminologie scientifique spécialisée directement dans ses poids, améliorant ainsi sa compréhension et sa génération de réponses pertinentes dans ce domaine spécifique. Le few-shot prompting peut aider à guider le modèle, mais il ne résoudra pas un manque fondamental de connaissance du domaine. Ajuster les paramètres d'inférence (comme la température ou le top-p) modifie le style de la réponse, pas la compréhension du contenu. Nettoyer les textes en supprimant les termes scientifiques irait à l'encontre de l'objectif de recherche d'articles spécialisés.