Uma empresa está comparando grandes modelos de linguagem para uma tarefa de sumarização de texto e precisa de uma métrica para avaliar a qualidade do resumo. Qual métrica é apropriada?

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) é a métrica apropriada para avaliar a qualidade de resumos de texto. Ela compara o resumo gerado por um modelo com um ou mais resumos de referência (humanos) e mede a sobreposição de palavras ou N-gramas. Recall é uma métrica de classificação que mede a proporção de positivos reais que foram identificados corretamente. Não é adequada para avaliar a qualidade de um resumo. AUC (Área sob a curva ROC) é uma métrica usada para avaliar o desempenho de modelos de classificação binária, medindo a capacidade de distinguir entre classes. Não é aplicável para sumarização de texto. MSE (Erro quadrático médio) é uma métrica de regressão que mede a média dos quadrados dos erros entre os valores previstos e os valores reais. Não é usada para avaliar a qualidade de resumos.