Uma empresa compara as traduções automáticas produzidas por sua ferramenta com as traduções humanas no mesmo conjunto de documentos. Qual estratégia de avaliação ela deve usar para comparar a qualidade da tradução da ferramenta em relação às traduções humanas?

A pontuação BLEU (Bilingual Evaluation Understudy) é uma métrica comum para avaliar a qualidade de traduções automáticas, comparando-as com traduções de referência humanas. Ela mede a sobreposição de n-gramas entre a tradução automática e as referências, fornecendo uma pontuação que reflete a similaridade. Ao comparar a tradução da ferramenta com a humana, a empresa está buscando uma avaliação relativa, ou seja, quão bem a ferramenta se aproxima do padrão humano. A BLEU é ideal para isso, pois quantifica essa proximidade. Usar BLEU para "qualidade absoluta" é incorreto porque BLEU é uma métrica comparativa, não um indicador intrínseco de perfeição. BERTScore é uma métrica mais recente que avalia a similaridade semântica, mas BLEU ainda é amplamente utilizada e mais diretamente aplicável para a comparação de sobreposição de texto em relação a referências humanas neste contexto.