Una soluzione utilizza LLM per tradurre manuali di formazione dall'inglese ad altre lingue. Per valutare l'accuratezza del testo tradotto, quale metrica di valutazione dovrebbe usare l'azienda?

BLEU (Bilingual Evaluation Understudy) è la metrica standard per valutare la qualità del testo generato dalla traduzione automatica. Confronta la traduzione automatica con una o più traduzioni di riferimento umane, calcolando la sovrapposizione di n-grammi per misurare la fluidità e l'accuratezza. RMSE (Root Mean Squared Error) è usato per regressione, misurando la differenza tra i valori previsti e quelli osservati, non per la qualità del testo. ROUGE (Recall-Oriented Understudy for Gisting Evaluation) è principalmente usato per la valutazione del riassunto, concentrandosi sulla copertura delle informazioni. Il punteggio F1 è una media armonica di precisione e richiamo, tipicamente usata nella classificazione, non direttamente per la valutazione della traduzione automatica.