某公司希望為電子郵件文字建立一個垃圾郵件分類器。他們有數千個已標記的範例，並計劃微調一個預訓練的 BERT 模型（該模型已在英文維基百科上進行訓練）。專家應該如何在自訂標記的電子郵件上進行微調之前初始化 BERT 模型？

正確答案描述了微調預訓練 BERT 模型以進行下游任務的標準方法。初始化所有層的預訓練權重，可以利用模型在大量文本數據上學到的豐富語言表示。替換最後一個全連接層並添加一個新的分類器，是為了將模型適應到特定的分類任務（例如垃圾郵件分類）。然後，使用標記數據微調整個模型（包括新的分類器），可以讓模型學習任務特有的特徵，同時保留預訓練的知識。 其他選項的錯誤原因： 「初始化所有層（除了最後一個全連接層）的預訓練權重」：這不完整，因為通常也會初始化最後一層的權重，只是會替換掉。 「初始化所有層的預訓練權重，在第一個輸出 token 的頂部添加一個分類器，並且只使用標記資料訓練該分類器」：只訓練分類器而不微調其他層（特徵提取器），會限制模型適應新任務的能力。 「初始化所有層的隨機權重，用一個分類器替換最後一個全連接層，並使用標記資料訓練該分類器」：這等同於從頭開始訓練模型，會丟失預訓練模型學到的寶貴知識，並且需要更多的數據和計算資源。