Une entreprise de médias sociaux souhaite utiliser un LLM pour la modération de contenu et évaluer les résultats afin de détecter les biais ou la discrimination envers des groupes ou des individus, avec le moins d'effort administratif possible. Quelle source de données devrait-elle utiliser ?

Les ensembles de données de référence (benchmark datasets) sont le meilleur choix car ils sont spécifiquement conçus pour évaluer les performances des modèles, y compris la détection des biais et de la discrimination, avec un effort administratif minimal. Ils contiennent souvent des annotations et des métriques prédéfinies pour faciliter l'évaluation. Le contenu généré par les utilisateurs nécessiterait un étiquetage manuel intensif pour l'évaluation des biais, ce qui est coûteux en temps et en ressources. Les journaux de modération enregistrent les décisions passées mais ne sont pas structurés pour une évaluation systématique des biais. Les directives de modération de contenu définissent les règles, mais ne sont pas des données d'évaluation en soi.