Ein Unternehmen möchte einen Spam-Klassifikator für E-Mail-Texte erstellen. Es verfügt über einige tausend gelabelte Beispiele und plant, ein vortrainiertes BERT-Modell (trainiert auf englischer Wikipedia) zu optimieren. Wie sollte der Spezialist das BERT-Modell initialisieren, bevor er es mit den benutzerdefinierten gelabelten E-Mails optimiert?

Die korrekte Antwort ist, alle Schichten mit vortrainierten Gewichten zu initialisieren, die letzte vollständig verbundene Schicht durch einen neuen Klassifikator zu ersetzen und das gesamte Modell (einschließlich des Klassifikators) mit den gelabelten Daten zu optimieren. Dies ist der Standardansatz für das Fine-Tuning von vortrainierten BERT-Modellen für nachgelagerte Aufgaben wie die Textklassifikation. BERT ist ein leistungsstarkes Modell, das ein tiefes Verständnis der Sprache durch vortrainierte Gewichte erlangt hat. Durch die Initialisierung mit diesen Gewichten wird dieses Wissen genutzt. Das Ersetzen der letzten Schicht durch einen neuen Klassifikator ermöglicht es dem Modell, sich an die spezifische Aufgabe (Spam-Klassifikation) anzupassen. Das gemeinsame Fine-Tuning des gesamten Modells stellt sicher, dass die vortrainierten Schichten ihre Repräsentationen an die neue Aufgabe anpassen können, was zu einer besseren Leistung führt. Die Option, nur den Klassifikator zu trainieren, ist weniger effektiv, da die vortrainierten Schichten nicht an die spezifische Aufgabe angepasst werden. Die Initialisierung aller Schichten mit zufälligen Gewichten würde die Vorteile des Vortrainings vollständig aufheben und erfordert viel mehr Daten und Rechenleistung, um eine vergleichbare Leistung zu erzielen.