Una empresa compara las traducciones automáticas producidas por su herramienta con las traducciones humanas en el mismo conjunto de documentos. ¿Qué estrategia de evaluación deberían usar para comparar la calidad de la traducción de la herramienta en relación con las traducciones humanas?

La puntuación BLEU (Bilingual Evaluation Understudy) es una métrica estándar para evaluar la calidad de la traducción automática comparando la traducción generada por la máquina con una o varias traducciones humanas de referencia. Mide la similitud de n-gramas entre la traducción candidata y las referencias. Es ideal para evaluar la calidad relativa de una traducción automática frente a la humana, no la calidad absoluta, ya que una puntuación alta no garantiza una traducción perfecta, solo una alta similitud con la referencia. BERTScore es una métrica más reciente que utiliza incrustaciones contextuales de BERT para medir la similitud semántica, lo que puede ser útil, pero BLEU es la métrica tradicional y más directa para este tipo de comparación de n-gramas.