Un'azienda utilizza Amazon SageMaker per produrre riassunti di articoli in diverse lingue e necessita di una metrica per valutare la qualità dei riassunti tradotti tra le lingue. Quale metrica di valutazione dovrebbe utilizzare?

BLEU (Bilingual Evaluation Understudy) è la metrica più appropriata per valutare la qualità dei riassunti tradotti tra diverse lingue. È specificamente progettata per confrontare il testo generato automaticamente con uno o più testi di riferimento umani, misurando la somiglianza basata sulla precisione delle n-grammi. ROUGE è utilizzato principalmente per la valutazione del riassunto monolingue, confrontando il riassunto generato con un riassunto di riferimento. AUC e Precision sono metriche di classificazione e non sono adatte per valutare la qualità della traduzione o del riassunto testuale.