ある企業がメールテキストのスパム分類器を構築したいと考えています。彼らは数千のラベル付きサンプルを持っており、事前学習済みのBERTモデル（英語版Wikipediaで学習済み）をファインチューニングする予定です。カスタムラベル付きメールでファインチューニングする前に、スペシャリストはBERTモデルをどのように初期化すべきですか？

事前学習済みBERTモデルをファインチューニングする際、通常はすべての層を事前学習済みの重みで初期化し、タスク固有の分類層を新しく追加します。その後、新しいデータセット（この場合はカスタムラベル付きメール）を用いて、モデル全体（事前学習済み層と新しい分類層の両方）を再学習させます。これにより、BERTが大規模なデータで学習した言語理解能力を保持しつつ、特定のスパム分類タスクに適応させることができます。 他の選択肢は不適切です。 最終層を除く初期化は、分類層の学習が不十分になる可能性があります。 分類器のみを学習させる場合、BERTの事前学習済み特徴抽出器がタスクに最適化されません。 すべての層をランダムな重みで初期化すると、事前学習の恩恵を完全に失い、ゼロから学習するのと同等になり、計算コストが高く、性能も劣る可能性が高いです。