Een bedrijf gebruikt Amazon SageMaker om artikelsamenvattingen in verschillende talen te produceren en heeft een metriek nodig om de kwaliteit van vertaalde samenvattingen in verschillende talen te beoordelen. Welke evaluatiemetriek moeten ze gebruiken?

BLEU (Bilingual Evaluation Understudy) is de meest geschikte metriek voor het evalueren van de kwaliteit van machinaal vertaalde tekst, inclusief samenvattingen. Het vergelijkt de kandidaatvertaling met een of meer referentievertalingen en meet de overeenkomst in n-grammen. Een hogere BLEU-score duidt op een betere vertaalkwaliteit. ROUGE (Recall-Oriented Understudy for Gisting Evaluation) is meer gericht op het evalueren van samenvattingen in één taal, door de overlap met referentiesamenvattingen te meten, en is minder geschikt voor vertaalbeoordeling. AUC (Area Under the ROC Curve) en Precision zijn classificatiemetrieken die worden gebruikt om de prestaties van binaire classificatiemodellen te evalueren en zijn niet relevant voor het beoordelen van vertaalkwaliteit.