Uma empresa está usando um modelo de linguagem grande (LLM) pré-treinado que deve lidar com várias tarefas que exigem conhecimento técnico específico do domínio. O LLM não possui informações sobre alguns tópicos do domínio, e a empresa tem dados de domínio não rotulados disponíveis para ajuste. Qual abordagem de fine-tuning a empresa deve usar?

O pré-treinamento contínuo é a abordagem correta porque a empresa possui dados de domínio não rotulados. Esta técnica permite que o LLM aprenda mais sobre o vocabulário e os conceitos específicos do domínio, melhorando sua compreensão e desempenho em tarefas técnicas sem a necessidade de anotação manual de dados, que é cara e demorada. O treinamento completo não é eficiente, pois o modelo já está pré-treinado e a empresa não tem recursos para treinar do zero. O fine-tuning supervisionado não é viável porque a empresa não tem exemplos rotulados. RAG é uma técnica de inferência para complementar o conhecimento do modelo, não uma abordagem de fine-tuning para incorporar conhecimento diretamente no modelo.