Une entreprise utilise un grand modèle linguistique (LLM) pré-entraîné qui doit gérer plusieurs tâches nécessitant des connaissances techniques spécifiques à un domaine. Le LLM manque d'informations sur certains sujets du domaine, et l'entreprise dispose de données de domaine non étiquetées disponibles pour l'ajustement. Quelle approche de fine-tuning l'entreprise devrait-elle utiliser ?

Le pré-entraînement continu est la meilleure approche car l'entreprise dispose de données de domaine non étiquetées et le LLM manque de connaissances spécifiques à ce domaine. Cette méthode permet au modèle d'apprendre les nuances et la terminologie du domaine sans nécessiter d'étiquetage coûteux, améliorant ainsi ses performances sur les tâches techniques. L'entraînement complet est inefficace et coûteux, car il ignore les capacités du LLM pré-entraîné. Le fine-tuning supervisé est inapproprié car l'entreprise ne dispose pas de données étiquetées. La génération augmentée par récupération (RAG) est une technique d'inférence qui complète les connaissances du modèle avec des documents externes, mais elle ne modifie pas les connaissances intrinsèques du modèle comme le ferait le pré-entraînement continu.