Un'azienda confronta le traduzioni automatiche prodotte dal proprio strumento con le traduzioni umane sullo stesso set di documenti. Quale strategia di valutazione dovrebbe utilizzare per confrontare la qualità della traduzione dello strumento rispetto alle traduzioni umane?

Il punteggio BLEU è un metodo standard per valutare la qualità delle traduzioni automatiche confrontandole con traduzioni umane di riferimento. È particolarmente efficace per la valutazione relativa, poiché misura la somiglianza tra la traduzione automatica e una o più traduzioni umane di alta qualità. L'azienda sta confrontando due metodi (traduzione automatica vs. umana) sullo stesso set di documenti, rendendo BLEU ideale per una valutazione relativa della performance. BERTScore è un'alternativa più recente che utilizza incorporamenti contestuali per una valutazione più semantica, ma BLEU rimane un benchmark consolidato per questo tipo di confronto diretto. La valutazione "assoluta" è difficile da definire e misurare in questo contesto, poiché l'obiettivo è confrontare le prestazioni relative dei due approcci.