Un'azienda sta addestrando un modello linguistico di grandi dimensioni personalizzato per un chatbot rivolto agli adolescenti. Il chatbot dovrebbe utilizzare lo stile informale del pubblico, incluse ortografie creative e abbreviazioni. Quale metrica è appropriata per valutare le prestazioni del modello?

BERTScore è la metrica più appropriata perché valuta la somiglianza semantica tra il testo generato dal modello e il testo di riferimento, utilizzando incorporamenti contestuali (embeddings). Questo è fondamentale per un chatbot che deve comprendere e generare linguaggio informale, incluse ortografie creative e abbreviazioni, dove le corrispondenze esatte di parole (come richiesto da BLEU e ROUGE) sarebbero penalizzanti. BLEU e ROUGE si basano principalmente sulla sovrapposizione di n-grammi, il che li rende meno efficaci nel valutare la somiglianza semantica e la flessibilità linguistica necessaria per lo slang e le abbreviazioni. Il Punteggio F1 è una media armonica di precisione e richiamo, generalmente usata per la classificazione, non per la generazione di testo.