Un'azienda desidera creare un classificatore di spam per il testo delle email. Ha a disposizione alcune migliaia di esempi etichettati e intende ottimizzare un modello BERT pre-addestrato (addestrato su Wikipedia in inglese). Come dovrebbe inizializzare lo specialista il modello BERT prima di ottimizzarlo sulle email etichettate personalizzate?

L'opzione corretta è la migliore pratica per il fine-tuning di modelli BERT pre-addestrati. Inizializzare tutti i layer con pesi pre-addestrati sfrutta la conoscenza linguistica già acquisita dal modello su un vasto corpus (Wikipedia), che è fondamentale per compiti di elaborazione del linguaggio naturale. Sostituire l'ultimo layer completamente connesso con un nuovo classificatore permette al modello di adattarsi al compito specifico di classificazione dello spam. Ottimizzare l'intero modello (inclusi i layer pre-addestrati e il nuovo classificatore) con i dati etichettati personalizzati consente al modello di apprendere le caratteristiche specifiche dello spam nel contesto delle email dell'azienda. Le altre opzioni sono meno efficaci: Inizializzare solo l'ultimo layer con pesi casuali e congelare gli altri non permette al modello di adattare le sue rappresentazioni interne al nuovo dominio. Addestrare solo il classificatore sopra il primo token di output, mantenendo gli altri layer congelati, è simile al punto precedente e limita l'adattamento. Inizializzare tutti i layer con pesi casuali ignora completamente i benefici del pre-addestramento, richiedendo molti più dati e tempo per convergere.