Un'azienda sta confrontando modelli linguistici di grandi dimensioni per un'attività di riepilogo del testo e necessita di una metrica per valutare la qualità del riepilogo. Quale metrica è appropriata?

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) è una metrica standard e ampiamente utilizzata per valutare la qualità dei riassunti generati automaticamente confrontandoli con riassunti di riferimento creati da esseri umani. Misura la sovrapposizione di n-grammi, sequenze di parole o coppie di parole tra il riassunto generato e quello di riferimento, fornendo un'indicazione di quanto il riassunto generato copra le informazioni essenziali presenti nel riferimento. Recall è una metrica di classificazione binaria che misura la proporzione di veri positivi correttamente identificati; non è adatta per valutare la qualità complessiva di un riassunto testuale. AUC è una metrica per valutare le prestazioni dei classificatori binari su varie soglie, non per la generazione di testo. MSE è una metrica utilizzata per valutare la differenza tra valori previsti e osservati in problemi di regressione, non per la valutazione di riassunti.