Ein Unternehmen verwendet ein vortrainiertes großes Sprachmodell (LLM), das mehrere Aufgaben bewältigen muss, die domänenspezifisches technisches Wissen erfordern. Dem LLM fehlen Informationen zu einigen Domänenthemen, und dem Unternehmen stehen unbeschriftete Domänendaten zum Tuning zur Verfügung. Welchen Fine-Tuning-Ansatz sollte das Unternehmen verwenden?

Das Unternehmen verfügt über unbeschriftete Domänendaten und das LLM benötigt domänenspezifisches Wissen. Continued Pre-training (fortgesetztes Vortraining) ist der effektivste Ansatz, da es dem Modell ermöglicht, aus unbeschrifteten Daten zu lernen und sein Verständnis für die neue Domäne zu vertiefen. Full Training ist ineffizient und unnötig, da bereits ein vortrainiertes Modell vorhanden ist. Supervised Fine-Tuning erfordert beschriftete Daten, die nicht verfügbar sind. RAG ist eine Inferenzzeit-Methode und verbessert nicht direkt das interne Wissen des Modells über die Domäne, sondern ergänzt es lediglich mit externen Informationen.