Une entreprise souhaite créer un classificateur de spam pour le texte des e-mails. Elle dispose de quelques milliers d'exemples étiquetés et prévoit d'affiner un modèle BERT pré-entraîné (entraîné sur Wikipédia en anglais). Comment le spécialiste doit-il initialiser le modèle BERT avant de l'affiner sur les e-mails étiquetés personnalisés ?

La bonne approche pour le fine-tuning d'un modèle BERT pré-entraîné est d'initialiser toutes les couches avec les poids pré-entraînés. Ces poids ont appris des représentations linguistiques générales à partir d'un grand corpus (comme Wikipédia), ce qui est crucial pour la performance. Ensuite, la dernière couche entièrement connectée, qui était probablement utilisée pour la tâche de pré-entraînement d'origine (par exemple, la prédiction du masque ou la prédiction de la phrase suivante), doit être remplacée par une nouvelle couche de classification adaptée à la tâche spécifique (ici, la classification de spam). Enfin, l'ensemble du modèle (y compris le nouveau classificateur) doit être affiné sur les données étiquetées personnalisées. Cela permet au modèle d'adapter ses représentations apprises à la nouvelle tâche tout en bénéficiant des connaissances linguistiques pré-existantes. Initialiser toutes les couches avec des poids aléatoires ignorerait les bénéfices du pré-entraînement. Entraîner uniquement le nouveau classificateur sans affiner les couches pré-entraînées limiterait la capacité du modèle à s'adapter aux nuances de la nouvelle tâche.