Una empresa quiere construir un clasificador de spam para el texto de los correos electrónicos. Tienen unos pocos miles de ejemplos etiquetados y planean ajustar un modelo BERT preentrenado (entrenado en la Wikipedia en inglés). ¿Cómo debe inicializar el especialista el modelo BERT antes de ajustarlo con los correos electrónicos etiquetados personalizados?

La respuesta correcta es inicializar todas las capas con pesos preentrenados, reemplazar la capa final totalmente conectada con un nuevo clasificador y ajustar el modelo (incluido el clasificador) utilizando los datos etiquetados. Esto se conoce como fine-tuning de un modelo preentrenado. Los pesos preentrenados de BERT capturan conocimientos lingüísticos generales. Al reemplazarlos con un clasificador y entrenar todo el modelo con los datos de spam, se adapta el modelo a la tarea específica de clasificación de spam, aprovechando el conocimiento preexistente. Inicializar todas las capas con pesos preentrenados, excepto la capa final totalmente conectada, es incorrecto porque la capa final también necesita ser reemplazada por un clasificador adecuado para la tarea. Inicializar todas las capas con pesos preentrenados, añadir un clasificador encima del primer token de salida y entrenar solo ese clasificador con los datos etiquetados es incorrecto porque solo entrenar el clasificador no permite que las capas preentrenadas se adapten a la tarea específica. Inicializar todas las capas con pesos aleatorios, reemplazar la última capa totalmente conectada con un clasificador y entrenar ese clasificador con los datos etiquetados es incorrecto porque se pierde el beneficio del preentrenamiento de BERT, que es crucial para el rendimiento con conjuntos de datos pequeños.