Qual métrica de avaliação é comumente usada para avaliar modelos de base (FMs) em tarefas de sumarização de texto?

A pontuação BLEU é amplamente utilizada para avaliar modelos de linguagem em tarefas de sumarização de texto porque compara a sobreposição de n-gramas entre o texto gerado pelo modelo e um ou mais textos de referência. Isso a torna eficaz para medir a fluência e a adequação da sumarização. A pontuação F1 é mais comum para classificação, avaliando precisão e recall. A acurácia é uma métrica simples de classificação, inadequada para a complexidade da sumarização. O Erro Quadrático Médio (MSE) é usado para regressão, medindo a diferença entre valores previstos e reais, não sendo aplicável à avaliação de texto.