LLM-as-a-Judge: Was ein Modell bewertet und welche Verzerrungen zu prüfen sind

Definition: Was ist ein Modell als Judge?

Ein Modell als Judge ist ein Sprachmodell, das eine Antwort, eine Ausgabe oder das Verhalten einer KI-Anwendung anhand zuvor festgelegter Kriterien bewertet. Es kann beispielsweise eine Punktzahl vergeben, ein Ergebnis einer Kategorie zuordnen oder zwei Alternativen miteinander vergleichen. Die gebräuchliche englische Bezeichnung lautet LLM-as-a-Judge.

Der Bewertungsgegenstand muss nicht ausschließlich ein Text sein. Je nach Anwendungsfall kann es sich um die Antwort eines Chatbots, eine Zusammenfassung, eine von einem Tool erzeugte Ausgabe oder die Aktionsspur eines Agenten handeln. Bei der Bewertung können außerdem Referenzinformationen berücksichtigt werden, etwa die ursprüngliche Frage, ein Quelldokument, eine Richtlinie oder eine Liste von Einschränkungen.

Der Begriff bezeichnet eine Bewertungsmethode, keine Garantie für Korrektheit. Das erzeugte Urteil bleibt eine Modellausgabe: Es hängt davon ab, was das Modell prüfen soll, welche Kriterien es erhält und welche Informationen verfügbar sind. Eine automatisiert vergebene Punktzahl ist daher für sich genommen weder eine nachgewiesene Wahrheit noch ein unabhängiges Referenzlabel oder eine menschliche Prüfung.

Der Leitfaden von Langfuse beschreibt die Methode in seinem operativen Anwendungsbereich als Einsatz eines Sprachmodells, um die Qualität der Ausgaben einer anderen LLM-basierten Anwendung zu beurteilen. Die Dokumentation von MLflow bezieht sowohl LLM-Anwendungen als auch Agenten ein und nennt mögliche Qualitätsdimensionen, darunter Korrektheit, Relevanz, Fundierung, Sicherheit und Nützlichkeit. Solche Beschreibungen helfen, die praktische Verwendung zu verstehen, machen ein bestimmtes Tool aber nicht zu einer universellen Definition.

So läuft die Bewertung ab

Ein sinnvoller Bewertungsprozess beginnt damit, festzulegen, was beurteilt werden soll und welchem Zweck die Bewertung dient. Ob eine Antwort eine Richtlinie einhält, ist eine andere Frage als die, ob sie für eine Person verständlich ist. Bleibt das Ziel unklar, kann das Modell ein scheinbar präzises Urteil abgeben, das am eigentlichen Bedarf vorbeigeht.

Anschließend werden die Kriterien konkretisiert. Eine Rubrik kann getrennte Dimensionen beschreiben, etwa die Treue zu einer Quelle, die Abdeckung relevanter Informationen, die Einhaltung von Einschränkungen oder die Relevanz. Sie kann außerdem eine Skala definieren und erläutern, wofür die einzelnen Stufen stehen. Eine Rubrik beseitigt Meinungsverschiedenheiten nicht, macht aber explizit, was der Judge bewerten soll.

Danach erhält das Modell das relevante Material: die zu bewertende Antwort oder Aktionsspur und, falls nötig, die Frage, das Referenzdokument, die geltenden Regeln oder die Aufgabenbeschränkungen. Der Kontext sollte ausreichen, um die Kriterien anzuwenden. Dieser Leitfaden geht jedoch nicht davon aus, dass mehr Informationen das Urteil immer verbessern. Es sollte geprüft werden, welcher Kontext für die jeweilige Aufgabe tatsächlich erforderlich ist.

Die Bewertungsanweisung legt die Rolle des Judges und das gewünschte Ausgabeformat fest. Das Ergebnis kann eine Punktzahl, eine Kategorie, eine Präferenz zwischen Alternativen und eine Begründung enthalten. Zum Schluss wird das Urteil überprüft: Man sucht nach Fehlern, gleicht es nach Möglichkeit mit menschlichen Bewertungen oder externen Referenzen ab und entscheidet, ob es für den vorgesehenen Einsatz geeignet ist. Dass der Judge eine Begründung erzeugt, beweist für sich genommen nicht, dass diese Begründung stimmt.

Urteilsformate: Punktzahl, Klassifizierung und Vergleich

Bei einer kriteriumsbezogenen Bewertung beurteilt der Judge eine Antwort einzeln, zum Beispiel anhand einer vom Team festgelegten Skala. Eine solche Skala ist nur dann interpretierbar, wenn bekannt ist, wofür jeder Wert steht. Eine allgemeine Qualitätsnote kann verdecken, dass eine Antwort zwar quellentreu, aber unvollständig ist oder zwar vollständig, aber mit einer Einschränkung unvereinbar. Getrennte Dimensionen können solche Zielkonflikte sichtbarer machen.

Bei einer Klassifizierung ordnet der Judge ein Ergebnis einer Kategorie zu, etwa „erfüllt“, „nicht erfüllt“ oder „muss überprüft werden“. Er kann auch mehrere Antworten Gruppen oder Stufen zuordnen. Kategorien vermitteln weniger den Anschein numerischer Präzision, sind aber weiterhin auf klare Definitionen und eine angemessene Anwendung durch das Modell angewiesen.

Bei einem Paarvergleich werden zwei Alternativen vorgelegt. Der Judge soll auswählen, welche eine bestimmte Vorgabe besser erfüllt, oder – sofern das Format es vorsieht – ein Unentschieden angeben. Das Ergebnis ist relativ: Die bevorzugte Option ist dadurch weder nachweislich korrekt noch erfüllt sie damit automatisch einen absoluten Schwellenwert. Der Vergleich bezieht sich außerdem auf das vorgelegte Paar und erstellt nicht ohne Weiteres eine verlässliche Rangfolge aller denkbaren Antworten.

Diese Formate sind verschieden und beantworten unterschiedliche Fragen. Eine Punktzahl soll die Leistung im Verhältnis zu einer Skala ausdrücken, eine Klassifizierung weist ein Label zu und ein Paarvergleich benennt eine Präferenz zwischen Optionen. Es sollte nicht davon ausgegangen werden, dass ein Format grundsätzlich überlegen ist. Die Wahl hängt von der späteren Entscheidung ab und sollte anhand repräsentativer Beispiele erprobt werden.

Anwendungsbeispiel: Antworten im Kundenservice

Angenommen, ein Team möchte Antworten eines Kundenservice-Assistenten überprüfen. Bewertungsgegenstand ist jede einzelne Antwort. Zum relevanten Kontext können die Anfrage der Person und die geltende Version der einschlägigen Richtlinie gehören. Eine Rubrik könnte mindestens getrennt erfassen, ob die Antwort auf die Anfrage eingeht, mit der bereitgestellten Richtlinie übereinstimmt und die vom Team festgelegten Kommunikationsbeschränkungen einhält.

Der Judge könnte jede Dimension klassifizieren oder getrennte Punktzahlen vergeben und zweifelhafte Fälle zur Überprüfung markieren. Verspricht die Antwort zum Beispiel eine Rückerstattung, sollte das Kriterium nicht lauten, ob dieses Versprechen plausibel klingt. Es muss anhand der bereitgestellten Richtlinie geprüft werden. Die Modellbewertung zeigt, wie das Modell das Material interpretiert hat. Sie ersetzt weder die Prüfung, ob die Richtlinie aktuell ist, noch die Entscheidung darüber, welche Regel anzuwenden ist.

Um die Methode zu beurteilen, kann das Team Fälle auswählen, die unterschiedliche Anfragen und Ausnahmen abdecken, die Urteile mit menschlichen Prüfungen vergleichen und Abweichungen untersuchen. Wird das System eingesetzt, um Prüfungen zu priorisieren, sollte zusätzlich geprüft werden, ob es die Fälle erkennt, die das Team als sensibel oder unsicher einstuft. Das ist ein Gestaltungsvorschlag: Die verfügbaren Quellen erlauben nicht die Aussage, dass ein Judge in allen Fällen mit Fachleuten übereinstimmt.

Anwendungsbeispiel: Zusammenfassungen von Dokumenten

Beim Vergleich von Zusammenfassungen ist die Zusammenfassung selbst der Bewertungsgegenstand. Als Referenzkontext dienen das Originaldokument und die Anweisung, mit der die Zusammenfassung erstellt wurde. Die Kriterien könnten zwischen der Abdeckung relevanter Punkte und der Quellentreue der Aussagen unterscheiden. Werden diese Dimensionen getrennt betrachtet, ist es weniger wahrscheinlich, dass flüssige Formulierungen mit einer vollständigen oder originalgetreuen Zusammenfassung verwechselt werden.

Ein Judge könnte jede Zusammenfassung einzeln bewerten oder zwei Zusammenfassungen vergleichen und feststellen, welche die relevanten Inhalte besser abdeckt, ohne unbelegte Aussagen einzuführen. Bei der Überprüfung sollte kontrolliert werden, ob das Urteil konkrete Auslassungen oder Aussagen benennt, die nicht mit dem Dokument vereinbar sind. Eine allgemeine Begründung wie „ist umfassender“ reicht dafür nicht aus.

Welche Informationen als relevant gelten, hängt von der Aufgabe ab: Eine Management-Zusammenfassung, eine technische Zusammenfassung und eine Zusammenfassung für eine konkrete Anfrage können unterschiedliche Schwerpunkte erfordern. Deshalb müssen dem Evaluator das Quelldokument und der Zweck der Zusammenfassung bekannt sein. Die Punktzahl des Judges ist selbst keine verifizierte Liste ausgelassener oder erfundener Fakten.

Anwendungsbeispiel: Programmieragenten

Bei der Bewertung eines Programmieragenten können sowohl das Endergebnis als auch die Aktionsspur Bewertungsgegenstand sein – nicht nur der Text der Antwort. Die Aufgabe, die verfügbaren Tests und die Einschränkungen bestimmen, was es heißt, die Arbeit abzuschließen. Zu den expliziten Kriterien könnte gehören, die angeforderte Aufgabe zu lösen und Grenzen einzuhalten, etwa bestimmte Dateien nicht zu ändern oder ein bestimmtes Tool nicht zu verwenden, sofern solche Einschränkungen Teil des Auftrags sind.

Ein Judge kann jedes Kriterium bewerten, zusammenfassen, welche Belege in der Aktionsspur dafür zu sprechen scheinen, oder angeben, dass er anhand der verfügbaren Informationen keine Entscheidung treffen kann. Das Team muss prüfen, ob das Urteil mit dem verifizierbaren Ergebnis übereinstimmt. Eine überzeugende Erklärung, eine Aufgabe abgeschlossen zu haben, ersetzt zum Beispiel nicht die Ausführung der Tests. Umgekehrt belegt das Bestehen eines einzelnen Tests nicht unbedingt, dass alle Einschränkungen eingehalten wurden.

Dieses Beispiel zeigt, warum der Bewertungsgegenstand genau festgelegt werden muss: Wer nur die Textantwort beurteilt, kann relevante Aktionen übersehen. Wer dagegen nur eine Aktionsspur ohne die zugehörigen Einschränkungen bewertet, kann zu einem unvollständigen Urteil gelangen. Welche Belege ausreichen, hängt von der konkreten Aufgabe und Umgebung ab.

Was sollte geprüft werden, bevor man einem Judge vertraut?

Eine zentrale Prüfung ist, wie gut die Urteile des Modells zu einer für die Aufgabe geeigneten Referenz passen. Diese Referenz kann je nach Messgegenstand aus menschlichen Bewertungen, überprüfbaren Regeln oder externen Ergebnissen bestehen. Eine allgemeine Übereinstimmungsquote reicht nicht aus, wenn unklar ist, welche Fälle bewertet wurden, wie Meinungsverschiedenheiten behandelt wurden und ob die Beispiele den vorgesehenen Einsatz abbilden.

Auch die Stabilität des Verfahrens sollte erprobt werden. Bleibt das Urteil ausreichend konstant, wenn derselbe Fall mehr als einmal vorgelegt wird? Ändert sich die Bewertung, wenn nicht relevante Darstellungselemente verändert werden? Bei Paarvergleichen sollte untersucht werden, ob sich die Präferenz ändert, wenn die Reihenfolge der Alternativen umgekehrt wird. Das sind Validierungsfragen und keine Behauptungen, dass solche Änderungen immer auftreten.

Auch die Begründung muss unabhängig geprüft werden. Eine Erklärung kann dabei helfen, zu erkennen, welches Kriterium das Modell angewendet hat. Sie beweist jedoch nicht, dass die Bewertung korrekt ist. Die angegebenen Gründe lassen sich mit dem Eingabematerial abgleichen: Sie sollten auf relevante Belege verweisen und nicht vage, unvereinbar mit dem Ergebnis oder durch die Quelle unbelegt sein.

Schließlich muss die Eignung des Judges für die konkrete Aufgabe beurteilt werden. Ein Modell, das eine bestimmte Art von Antwort bewerten kann, ist dadurch nicht automatisch für eine andere Domäne, Sprache, Eingabeform oder eine folgenreichere Entscheidung validiert. Eine technische Übersicht zu LLM-as-a-Judge beschreibt das Feld als Einsatz von Sprachmodellen zur Bewertung komplexer Aufgaben; die verfügbare Beschreibung erwähnt außerdem Anweisungen und Beispiele, mit denen Aufgaben spezifiziert werden. Daraus folgt für sich genommen nicht, dass eine bestimmte Methode in jeder Anwendung zuverlässig ist.

Verwandte Begriffe und häufige Missverständnisse

Ein Benchmark ist eine organisierte Sammlung von Aufgaben oder Fällen, mit der Systeme unter festgelegten Bedingungen gemessen oder verglichen werden. Ein Modell als Judge ist dagegen eine Methode, mit der Ausgaben bewertet werden. Ein Benchmark kann einen Judge verwenden, aber die Begriffe bedeuten nicht dasselbe: Der Evaluationsdatensatz legt fest, welche Fälle getestet werden; der Judge erstellt die Urteile oder wirkt daran mit.

Eine Rubrik ist eine Spezifikation von Kriterien, Bewertungsstufen oder Regeln. Sie ist nicht zwangsläufig ein Modell und auch nicht das Ergebnis einer Bewertung. Ein Judge kann eine Rubrik als Leitlinie erhalten; das Vorhandensein einer Rubrik garantiert aber nicht, dass das Modell sie korrekt anwendet.

Die Punktzahl eines Judges ist ebenfalls weder mit einem Referenzlabel noch mit der Wahrheit des jeweiligen Falls gleichzusetzen. Eine Antwort kann eine hohe Punktzahl erhalten und trotzdem einen Fehler enthalten, den die Rubrik nicht erfasst hat oder den der Evaluator falsch interpretiert. Wenn eine direkte Überprüfung möglich ist – etwa anhand einer verifizierbaren Regel oder eines Testergebnisses –, sollte sie nicht ohne Validierung durch eine generierte Einschätzung ersetzt werden.

Schließlich ist zwischen dem evaluierenden Modell und dem bewerteten Modell zu unterscheiden. In einer Anwendung können es Systeme desselben Typs oder unterschiedliche Modelle sein; ihre Funktionen im Ablauf bleiben dennoch verschieden: Das eine erzeugt die Antwort oder führt die Aufgabe aus, das andere beurteilt diese Ausgabe. Und „automatisiertes Urteil“ bedeutet nicht „ohne menschliche Aufsicht“: Eine menschliche Prüfung kann nötig sein, um die Methode zu validieren, Ausnahmen zu behandeln oder wichtige Entscheidungen zu treffen.

Grenzen und praktische Einsatzkriterien

Das Urteil hängt von der Aufgabenbeschreibung, den Kriterien und dem bereitgestellten Kontext sowie vom Verhalten des evaluierenden Modells ab. Eine automatisierte Bewertung sollte deshalb so dokumentiert werden, dass andere nachvollziehen können, was beurteilt wurde, welche Anweisungen der Judge erhielt und welche Ausgabe er lieferte. Tool-Dokumentationen können operative Formate und Bewertungsdimensionen beschreiben. Die Empfehlungen einer Plattform sind für sich genommen jedoch kein Beleg dafür, dass ein bestimmtes Design in jeder Anwendung funktioniert.

Vor der Einführung der Methode sollte man fragen: Bildet das Kriterium einen tatsächlichen Produktbedarf ab oder lediglich etwas, das sich leicht bewerten lässt? Gibt es geeignete Referenzfälle? Ist festgelegt, wie mit Meinungsverschiedenheiten und unsicheren Ergebnissen umzugehen ist? Wurde die Empfindlichkeit gegenüber Veränderungen der Darstellung getestet? Kann die Entscheidung mit einer externen Prüfung abgeglichen werden? Die Antworten helfen dabei, einzugrenzen, wo der Judge unterstützen kann und wo zusätzliche Prüfung erforderlich ist.

Es ist außerdem sinnvoll, mit einem begrenzten und reversiblen Einsatz zu beginnen, richtige und falsche Beispiele zu analysieren und die Methode erneut zu bewerten, wenn sich Richtlinien, Daten, Anweisungen oder das Modell ändern. Das ist eine praktische Empfehlung, keine Garantie für gleichbleibende Bewertungsergebnisse. Wie umfangreich die menschliche Prüfung sein sollte, hängt von der Tragweite der Entscheidung, den Folgen eines Fehlers und den für die konkrete Aufgabe gewonnenen Belegen ab.

Zur weiteren Orientierung eignen sich die Glossareinträge zu **KI-Evaluation**, **Benchmark**, **Rubrik** und **Human-in-the-Loop**, außerdem der Eintrag zu **LLM-as-a-Judge** und die Kriterien zum **Modellvergleich**. Diese Konzepte hängen zusammen, sind aber nicht austauschbar.

Zusammengefasst kann ein Modell als Judge einen Teil der Bewertungsarbeit strukturieren oder automatisieren, wenn Kriterien und Bewertungsgegenstand klar sind. Sein Ergebnis sollte als Urteil eines Modells verstanden und für den vorgesehenen Einsatz überprüft werden. Die praktische Frage lautet nicht, ob ein Judge abstrakt betrachtet zuverlässig ist, sondern welche Belege seinen Einsatz für eine bestimmte Aufgabe, bestimmte Daten und konkrete mögliche Folgen stützen.

Verwandte Begriffe