한 회사에서 이메일 텍스트용 스팸 분류기를 구축하려고 합니다. 수천 개의 레이블이 지정된 예시가 있으며, 사전 훈련된 BERT 모델(영문 위키백과로 훈련됨)을 미세 조정할 계획입니다. 전문가는 사용자 지정 레이블이 지정된 이메일로 미세 조정하기 전에 BERT 모델을 어떻게 초기화해야 할까요?

사전 훈련된 BERT 모델을 미세 조정할 때, 모든 계층을 사전 훈련된 가중치로 초기화하는 것이 일반적입니다. 이는 모델이 이미 언어의 일반적인 특징을 학습했기 때문에, 처음부터 무작위로 시작하는 것보다 훨씬 효율적입니다. 스팸 분류와 같은 특정 작업에 맞게 모델을 조정하려면, 원래 모델의 최종 출력 계층(일반적으로 완전 연결 계층)을 새 분류기 계층으로 교체해야 합니다. 이 분류기 계층은 스팸/비-스팸과 같은 특정 작업에 대한 예측을 수행합니다. 마지막으로, 레이블이 지정된 이메일 데이터셋을 사용하여 모델 전체(사전 훈련된 계층과 새 분류기 계층 모두)를 미세 조정하여 특정 작업에 최적화합니다. 다른 옵션들은 다음과 같은 이유로 올바르지 않습니다. 최종 완전 연결 계층을 제외한 모든 계층을 사전 훈련된 가중치로 초기화하는 것은 맞지만, 최종 계층을 초기화하지 않으면 모델이 제대로 작동하지 않을 수 있습니다. 모든 계층을 사전 훈련된 가중치로 초기화하고 분류기만 훈련하는 것은 "특징 추출" 방식에 가깝습니다. BERT의 강력한 성능을 활용하려면 전체 모델을 미세 조정하는 것이 더 효과적입니다. 모든 계층을 무작위 가중치로 초기화하는 것은 사전 훈련된 모델의 이점을 완전히 무시하는 것이며, 이는 사실상 처음부터 모델을 훈련하는 것과 같습니다.