Uma empresa usa o Amazon SageMaker para produzir resumos de artigos em vários idiomas e precisa de uma métrica para avaliar a qualidade dos resumos traduzidos entre os idiomas. Qual métrica de avaliação eles devem usar?

A métrica BLEU (Bilingual Evaluation Understudy) é a mais apropriada para avaliar a qualidade de resumos traduzidos. Ela compara a sobreposição de n-gramas entre o texto gerado e um ou mais textos de referência, sendo amplamente utilizada e eficaz para tarefas de tradução automática e sumarização multilíngue. ROUGE (Recall-Oriented Understudy for Gisting Evaluation) é mais adequada para avaliar a qualidade de sumarização de texto monolíngue, focando na cobertura de informações do resumo em relação ao original, e não na tradução. AUC (Area Under the ROC Curve) é uma métrica para classificador binário, medindo a capacidade de distinguir entre classes, não sendo relevante para avaliação de texto. Precisão, embora seja uma métrica fundamental em muitas áreas, isoladamente não captura a fluidez ou a semelhança de significado necessária para avaliar a qualidade de uma tradução ou resumo.