Firma używa wstępnie wytrenowanego LLM do chatbota rekomendacyjnego i potrzebuje, aby odpowiedzi modelu były zwięzłe i w określonym języku. Które podejście najlepiej pokieruje LLM, aby spełnić te wymagania dotyczące danych wyjściowych?

Dopracowanie i ograniczenie prompta jest najlepszym podejściem, ponieważ bezpośrednio wpływa na format i treść generowanych odpowiedzi. Precyzyjne instrukcje w prompcie, takie jak "odpowiedz zwięźle" i "użyj języka polskiego", kierują modelem LLM do generowania pożądanych wyników. Inne opcje są mniej skuteczne: wybór LLM o innym rozmiarze nie gwarantuje zwięzłości ani konkretnego języka; zwiększenie parametru temperatury sprawia, że odpowiedzi są bardziej losowe i kreatywne, co jest sprzeczne ze zwięzłością; zwiększenie wartości próbkowania Top-K również prowadzi do większej różnorodności, a nie do precyzyjnego formatu.