Quale metrica di valutazione viene comunemente utilizzata per valutare i modelli di base (FM) nelle attività di riepilogo del testo?

Il punteggio BLEU è comunemente usato per valutare i modelli di base (FM) nelle attività di riepilogo del testo e nella traduzione automatica. Misura la somiglianza tra il testo generato dal modello e uno o più testi di riferimento di alta qualità, basandosi sulla sovrapposizione di n-grammi. Un punteggio BLEU più alto indica una migliore qualità del riassunto. Il punteggio F1 è più adatto per la classificazione binaria o multiclasse. L'accuratezza è una metrica generale per la classificazione, ma non cattura la qualità linguistica. L'errore quadratico medio (MSE) è utilizzato per la regressione, non per la valutazione del testo generato.