Ein Social-Media-Unternehmen möchte ein LLM zur Inhaltsmoderation verwenden und die Ausgaben auf Voreingenommenheit oder Diskriminierung gegenüber Gruppen oder Einzelpersonen mit dem geringsten Verwaltungsaufwand bewerten. Welche Datenquelle sollte es verwenden?

Benchmark-Datensätze sind speziell dafür konzipiert, die Leistung von Modellen objektiv zu bewerten, insbesondere hinsichtlich Fairness und Voreingenommenheit. Sie enthalten oft annotierte Beispiele, die dazu dienen, diskriminierende Muster zu identifizieren und zu quantifizieren, was den Verwaltungsaufwand minimiert. Benutzergenerierte Inhalte sind zu unstrukturiert und umfangreich, um effizient auf Voreingenommenheit zu prüfen. Moderationsprotokolle dokumentieren zwar Entscheidungen, bieten aber keine standardisierte Grundlage zur Bewertung der Modell-Voreingenommenheit selbst. Richtlinien zur Inhaltsmoderation sind Anweisungen für menschliche Moderatoren, keine Datenquelle zur direkten Bewertung der Modellleistung.