Uma empresa deseja criar um classificador de spam para texto de e-mail. Eles têm alguns milhares de exemplos rotulados e planejam ajustar um modelo BERT pré-treinado (treinado na Wikipédia em inglês). Como o especialista deve inicializar o modelo BERT antes de ajustá-lo nos e-mails rotulados personalizados?

A opção correta descreve o processo padrão de fine-tuning de um modelo BERT pré-treinado para uma tarefa de classificação. Ao inicializar todas as camadas com pesos pré-treinados, aproveita-se o conhecimento linguístico geral que o BERT adquiriu em um grande corpus. A substituição da camada final por um novo classificador e o ajuste de todo o modelo (incluindo o classificador) com os dados rotulados permite que o modelo se adapte à tarefa específica de classificação de spam, ajustando tanto as representações internas quanto a camada de saída. A primeira opção está incorreta porque, embora se inicialize com pesos pré-treinados, não especifica a substituição da camada final por um classificador adequado à tarefa. A segunda opção está incorreta porque treinar apenas o classificador, mantendo as camadas do BERT congeladas, pode não ser ideal para tarefas onde a adaptação das representações internas é benéfica. A terceira opção está incorreta porque inicializar todas as camadas com pesos aleatórios ignora o benefício do pré-treinamento, exigindo muito mais dados e tempo para convergir.