Firma chce zbudować klasyfikator spamu dla tekstu wiadomości e-mail. Posiada kilka tysięcy oznaczonych przykładów i planuje dostroić wstępnie wytrenowany model BERT (wytrenowany na angielskiej Wikipedii). Jak specjalista powinien zainicjować model BERT przed dostrojeniem na niestandardowych, oznaczonych wiadomościach e-mail?

Poprawna odpowiedź to inicjalizacja wszystkich warstw wstępnie wytrenowanymi wagami, zastąpienie końcowej warstwy w pełni połączonej nowym klasyfikatorem i dostrojenie całego modelu (wraz z klasyfikatorem) przy użyciu oznaczonych danych. Ta metoda, znana jako fine-tuning, wykorzystuje wiedzę zdobytą przez BERT podczas wstępnego treningu na dużym korpusie tekstu (np. angielskiej Wikipedii), co pozwala na szybką adaptację do nowego zadania klasyfikacji spamu przy użyciu mniejszego zbioru danych. Pozostałe opcje są mniej efektywne: Inicjowanie wszystkich warstw wstępnie wytrenowanymi wagami z wyjątkiem końcowej warstwy w pełni połączonej, a następnie trenowanie tylko tej warstwy, nie wykorzystuje w pełni potencjału fine-tuningu, ponieważ reszta modelu pozostaje zamrożona. Trenowanie tylko dodanego klasyfikatora na wierzchu pierwszego tokenu wyjściowego, podczas gdy reszta modelu jest zamrożona, jest formą ekstrakcji cech, która jest mniej skuteczna niż pełne dostrojenie. Inicjowanie wszystkich warstw losowymi wagami i trenowanie tylko klasyfikatora na końcu jest równoznaczne z trenowaniem modelu od podstaw, co wymagałoby znacznie większego zbioru danych i dłuższego czasu treningu, a także ignorowałoby korzyści z wstępnego treningu BERT.