Firma chce dostroić model podstawowy (instruction-fine-tune), aby mógł odpowiadać na pytania specyficzne dla danej dziedziny. Jak firma powinna przygotować dane treningowe?

Aby dostroić model podstawowy (instruction-fine-tune) do odpowiadania na pytania specyficzne dla danej dziedziny, kluczowe jest przygotowanie danych treningowych w formacie instrukcji. Tworzenie par pytań i odpowiedzi, które bezpośrednio dotyczą tematów związanych z dziedziną działalności firmy, jest najskuteczniejszą metodą. Model uczy się, jak generować odpowiednie odpowiedzi na podstawie tych konkretnych instrukcji. Zbieranie wewnętrznych dokumentów bez strukturyzowania ich w pary Q&A (pytanie-odpowiedź) nie zapewni modelowi jasnych instrukcji. Oznaczanie recenzji jako pozytywnych/negatywnych jest zadaniem klasyfikacji sentymentu, a nie dostrajaniem do odpowiadania na pytania. Podpowiedzi few-shot są techniką prompt engineeringu, a nie przygotowaniem danych do dostrajania modelu.