Une entreprise souhaite qu'un chatbot basé sur un LLM fournisse à ses agents de service client des réponses contextuelles et basées sur des politiques en temps réel. La source de connaissances est constituée des documents de politique de l'entreprise. Quelle est la solution la plus rentable ?

La génération augmentée par récupération (RAG) est la solution la plus rentable car elle permet au LLM d'accéder à des informations spécifiques et à jour sans nécessiter de coûteux réentraînements ou de fignolages du modèle de base. Le RAG récupère les documents de politique pertinents en temps réel et les fournit au LLM comme contexte pour générer des réponses précises et fondées sur des faits. Réentraîner l'intégralité du LLM est extrêmement coûteux en calcul et en temps. L'affinage (fine-tuning) est moins coûteux que le réentraînement complet, mais il modifie les poids du modèle, ce qui peut être moins flexible pour les mises à jour fréquentes des politiques et peut introduire des hallucinations si les données d'affinage sont limitées. Le pré-entraînement et l'augmentation des données sont des étapes initiales de développement du modèle, pas une solution pour l'intégration de connaissances spécifiques en temps réel.