Bir şirket, e-posta metinleri için bir spam sınıflandırıcı oluşturmak istiyor. Birkaç bin etiketli örnekleri var ve önceden eğitilmiş bir BERT modelini (İngilizce Wikipedia üzerinde eğitilmiş) ince ayar yapmayı planlıyorlar. Uzman, özel etiketli e-postalar üzerinde ince ayar yapmadan önce BERT modelini nasıl başlatmalıdır?

Doğru cevap, önceden eğitilmiş BERT modelinin tüm katmanlarını önceden eğitilmiş ağırlıklarla başlatmak, son tam bağlı katmanı yeni bir sınıflandırıcı ile değiştirmek ve ardından tüm modeli (yeni sınıflandırıcı dahil) etiketli verilerle ince ayar yapmaktır. Bu yaklaşım, BERT'in büyük ölçekli metin verilerinden öğrendiği zengin dil temsillerinden yararlanırken, modeli belirli spam sınıflandırma görevinize uyarlamanızı sağlar. Diğer seçenekler neden yanlış: "Son tam bağlantılı katman hariç tüm katmanları önceden eğitilmiş ağırlıklarla başlatın" seçeneği, son katmanı rastgele başlatarak BERT'in önceden eğitilmiş yeteneklerinden tam olarak yararlanmaz. "Tüm katmanları önceden eğitilmiş ağırlıklarla başlatın, ilk çıktı token'ının üzerine bir sınıflandırıcı ekleyin ve sadece bu sınıflandırıcıyı etiketli verilerle eğitin" seçeneği, yalnızca sınıflandırıcıyı eğiterek modelin geri kalanının göreve uyum sağlamasına izin vermez. "Tüm katmanları rastgele ağırlıklarla başlatın, son tam bağlantılı katmanı bir sınıflandırıcı ile değiştirin ve bu sınıflandırıcıyı etiketli verilerle eğitin" seçeneği, önceden eğitilmiş ağırlıkların faydalarını tamamen göz ardı eder ve sıfırdan eğitim gibi olur.