Een bedrijf wil een spamclassificator bouwen voor e-mailtekst. Ze hebben een paar duizend gelabelde voorbeelden en zijn van plan om een vooraf getraind BERT-model (getraind op Engelse Wikipedia) te fine-tunen. Hoe moet de specialist het BERT-model initialiseren voordat het wordt gefine-tuned op de aangepaste gelabelde e-mails?

De juiste aanpak voor fine-tuning van BERT voor een spamclassificator is om alle lagen te initialiseren met de vooraf getrainde gewichten van het BERT-model. Dit behoudt de rijke taalrepresentaties die het model heeft geleerd van een grote dataset zoals Engelse Wikipedia. Vervolgens wordt de laatste volledig verbonden laag vervangen door een nieuwe classificatorlaag die geschikt is voor de specifieke classificatietaak (spam of geen spam). Ten slotte wordt het hele model, inclusief de nieuwe classificator en de vooraf getrainde lagen, gefine-tuned met de specifieke gelabelde e-mailgegevens. Dit stelt het model in staat om de algemene taalbegripvaardigheden aan te passen aan de nuances van de spamclassificatietaak. Het initialiseren van alle lagen met willekeurige gewichten (optie 3) zou de voordelen van het vooraf getrainde model tenietdoen. Het alleen trainen van de classificator (optie 2) zou de diepere lagen van BERT niet aanpassen aan de specifieke taak, wat suboptimale prestaties kan opleveren. Het uitsluiten van de laatste volledig verbonden laag van initialisatie (optie 1) is niet de standaardpraktijk; de laatste laag wordt meestal vervangen.