Firma używa wstępnie wytrenowanego dużego modelu językowego (LLM), który musi obsługiwać kilka zadań wymagających specjalistycznej wiedzy technicznej. Model LLM nie posiada informacji na temat niektórych zagadnień dziedzinowych, a firma dysponuje nieoznakowanymi danymi dziedzinowymi dostępnymi do dostrajania. Jakie podejście do dostrajania powinna zastosować firma?

Dalsze wstępne trenowanie jest najlepszym podejściem, ponieważ firma dysponuje nieoznakowanymi danymi dziedzinowymi i potrzebuje, aby model przyswoił wiedzę z tych danych. Dalsze wstępne trenowanie pozwala modelowi uczyć się reprezentacji i wzorców z nowych danych bez konieczności ich etykietowania, co jest kosztowne i czasochłonne. Pełne trenowanie od podstaw jest nieefektywne i kosztowne, gdy dostępny jest już wstępnie wytrenowany model. Dostrajanie nadzorowane wymaga oznakowanych danych, których firma nie posiada. RAG jest techniką wzbogacania generacji w czasie wnioskowania, a nie metodą dostrajania modelu w celu wbudowania w niego nowej wiedzy dziedzinowej.