Una empresa está comparando modelos de lenguaje grandes para una tarea de resumen de texto y necesita una métrica para evaluar la calidad del resumen. ¿Qué métrica es apropiada?

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) es una métrica estándar utilizada para evaluar la calidad de los resúmenes generados automáticamente comparándolos con resúmenes de referencia creados por humanos. Mide la superposición de unidades como n-gramas, secuencias de palabras o pares de palabras entre el resumen generado y el de referencia, lo que la hace ideal para tareas de resumen de texto. Recall es una mét métrica de clasificación que mide la proporción de positivos reales que se identificaron correctamente, no es adecuada para la evaluación de resúmenes. AUC es una métrica para evaluar el rendimiento de clasificadores binarios. MSE es una métrica para evaluar la precisión de modelos de regresión.