Een bedrijf gebruikt een vooraf getraind groot taalmodel (LLM) dat verschillende taken moet uitvoeren die domeinspecifieke technische kennis vereisen. Het LLM mist informatie over sommige domeinonderwerpen en het bedrijf heeft ongelabelde domeindata beschikbaar voor tuning. Welke fine-tuning aanpak moet het bedrijf gebruiken?

Voortgezette pre-training is de juiste aanpak omdat het bedrijf ongelabelde domeindata heeft en het model domeinspecifieke technische kennis mist. Deze methode traint het vooraf getrainde LLM verder op de specifieke, ongelabelde domeintekst, waardoor het model de ontbrekende kennis kan opdoen en zijn begrip van het domein kan verdiepen. Volledige training is inefficiënt en onnodig omdat er al een vooraf getraind model is. Supervised fine-tuning is niet mogelijk omdat er geen gelabelde voorbeelden beschikbaar zijn. RAG is een inferentietechniek die externe informatie ophaalt tijdens het genereren van antwoorden, maar het verbetert niet direct de interne kennis van het model over het domein, wat het primaire probleem hier is.