Una empresa está utilizando un modelo de lenguaje grande (LLM) preentrenado que debe manejar varias tareas que requieren conocimiento técnico específico del dominio. El LLM carece de información sobre algunos temas del dominio, y la empresa tiene datos de dominio sin etiquetar disponibles para el ajuste. ¿Qué enfoque de ajuste debería usar la empresa?

La pre-entrenamiento continuo (continued pre-training) es el enfoque más adecuado porque la empresa tiene datos de dominio sin etiquetar. Este método permite al LLM aprender el vocabulario, la sintaxis y los conceptos específicos del dominio, mejorando su conocimiento fundamental en esas áreas. Entrenar el modelo completo desde cero (full training) no es eficiente ni práctico, ya que el modelo preentrenado ya posee capacidades lingüísticas generales valiosas. El ajuste supervisado (supervised fine-tuning) no es viable porque la empresa solo tiene datos sin etiquetar. RAG (Retrieval Augmented Generation) es una técnica complementaria para la inferencia, no un método de ajuste para incorporar conocimiento fundamental al modelo.