Depois de ajustar um large language model para responder a consultas de help-desk, a empresa quer medir se a precisão melhorou. Qual métrica de avaliação eles devem usar?

O F1-score é a métrica mais adequada porque considera tanto a precisão (proporção de respostas corretas entre as respostas positivas do modelo) quanto o recall (proporção de respostas corretas que o modelo identificou do total de respostas corretas). Para um sistema de help-desk, é crucial que o modelo não apenas forneça respostas corretas (alta precisão), mas também que encontre a maioria das respostas corretas possíveis (alto recall). Precision (Precisão) seria inadequada isoladamente porque não mede a capacidade do modelo de encontrar todas as respostas relevantes. Time to first token (Tempo para o primeiro token) mede a latência, não a precisão da resposta. Word error rate (Taxa de erro de palavra) é usada principalmente para reconhecimento de fala, não para a precisão semântica de respostas de texto geradas.