Mercor schreibt Claude Opus 5 100 % in der Buchhaltung zu: Was der Benchmark misst – und was nicht

Die auffällige Zahl – und was sich bestätigen lässt

Ein Mercor zugeschriebenes Ergebnis weist Claude Opus 5 bei einer Bewertung von Buchhaltungsaufgaben 100 % zu. Die verfügbare, nicht unabhängig bestätigte Beschreibung der Prüfung bezeichnet sie als Bewertung von Arbeiten, die Tätigkeiten zum Monatsabschluss ähneln, und stellt das Ergebnis einem Wert von 37 % für menschliche Teilnehmende gegenüber. Mercors Veröffentlichung trägt ihrerseits den Titel, dass KI nun Junior-Buchhalter übertreffe. Diese Hinweise machen die Aussage und ihren allgemeinen Kontext erkennbar. Sie reichen aber nicht aus, um nachzuvollziehen, wie das Ergebnis zustande kam.

Diese Unterscheidung ist wichtig: Eine auffällige Prozentzahl erklärt für sich genommen weder, was als Erfolg gezählt wurde, noch wie viele Aufgaben geprüft wurden oder welche Fehlertoleranz galt. In den hier überprüfbaren Informationen finden sich weder die Zahl der Aufgaben noch das vollständige Prüfprotokoll, genügend Aufgabenbeispiele, ein detaillierter Bewertungsmaßstab oder Aufzeichnungen, anhand derer sich die Punktzahl neu berechnen ließe. Ebenso wenig steht fest, ob die 100 % bedeuten, dass alle Aufgaben bestanden wurden, ob es sich um einen aggregierten Wert handelt oder ob eine andere Kennzahl verwendet wurde.

Anthropic stellt eine offizielle Seite zu Claude Opus 5 und eine Plattformdokumentation für das Modell bereit. Diese Quellen können dabei helfen, das Modell zu identifizieren und offizielle Angaben dazu nachzuschlagen. Die hier vorliegenden Informationen bestätigen jedoch nicht, dass Anthropic Mercors Bewertung überprüft oder bestätigt hat. Das Ergebnis sollte daher Mercor zugeschrieben und nicht als unabhängige Zertifizierung durch den Modellanbieter dargestellt werden.

Was über die Prüfung bekannt ist – und was offenbleibt

Die verfügbare Beschreibung deutet auf Buchhaltungsaufgaben hin, die Tätigkeiten zum Monatsabschluss ähneln. Damit ist ein nachvollziehbarer beruflicher Kontext benannt. Die Formulierung „ähnlich einem Monatsabschluss“ legt jedoch nicht fest, welche Aufgaben konkret gestellt wurden. Aus den bereitgestellten Quellen lässt sich nicht erkennen, ob Vorgänge klassifiziert, Einträge abgeglichen, Buchungssätze überprüft, Berichte erstellt oder mehrere solcher Tätigkeiten kombiniert wurden. Ohne Einsicht in ein überprüfbares Protokoll lässt sich dem Benchmark keine bestimmte Aufgabenliste zuschreiben.

Auch Umfang und Aufbau der Aufgaben sind hier nicht dokumentiert. Diese Angaben sind entscheidend für die Einordnung eines perfekten Ergebnisses: Eine kleine Anzahl von Fällen korrekt zu bearbeiten, liefert nicht dieselbe Evidenz wie das Bestehen einer umfangreichen, vielfältigen und wiederholten Prüfung. Ohne Kenntnis der Aufgabenauswahl und der Bewertungskriterien lässt sich zudem nicht beurteilen, ob die Prüfung bestimmte Antworttypen begünstigte oder ungewöhnliche Situationen abdeckte.

Für den Vergleich mit Menschen ist dieselbe Genauigkeit erforderlich. Der Wert von 37 % wird in der sekundären Berichterstattung genannt. Das vorliegende Material sagt aber nicht, wer die Teilnehmenden waren, wie viele es gab, welche Erfahrung sie hatten oder ob sie unter gleichwertigen Bedingungen exakt dieselben Aufgaben bearbeiteten. Mercors Titel spricht von Junior-Buchhaltern. Ein Titel ersetzt jedoch weder eine Beschreibung der menschlichen Vergleichsgruppe noch Angaben zu deren Prüfverfahren.

Was 100 % bedeuten – und was nicht

Streng genommen lässt sich ein Wert von 100 % nur dann interpretieren, wenn die Definition der Kennzahl und die geprüfte Aufgabenmenge bekannt sind. Handelt es sich um den Anteil bestandener Aufgaben, beschreibt der Wert die Leistung bei genau diesen Aufgaben. Ist es eine zusammengesetzte Punktzahl, müsste bekannt sein, wie ihre Bestandteile zusammengeführt wurden. Da diese Definition in den hier überprüften Informationen nicht enthalten ist, sollte die Aussage weiterhin ausdrücklich zugeschrieben werden: Mercor meldete in seiner Bewertung 100 %.

Die Zahl verrät für sich genommen auch nicht, ob schwerwiegende und geringfügige Fehler, unvollständige Antworten oder Enthaltungen erfasst wurden. Ein System, das erkennt, dass es einen Fall nicht lösen kann, kann sicherer reagieren als eines, das selbstbewusst eine falsche Antwort gibt. Um beide Verhaltensweisen zu vergleichen, müsste man jedoch wissen, wie die Bewertung Enthaltungen und verschiedene Fehlertypen behandelte. Die hier vorliegenden Angaben reichen nicht aus, um zu sagen, wie solche Antworten bewertet wurden.

Ein hypothetisches Beispiel veranschaulicht den Unterschied, ohne es Mercors Prüfung zuzuschreiben: Würde eine Bewertung verlangen, zehn routinemäßige Dokumente zu bearbeiten, und löste das System alle zehn nach einem festgelegten Maßstab, beschriebe das Ergebnis seine Leistung bei genau dieser Aufgabenmenge. Automatisch bewiese es damit nicht, dass es unvollständige Unterlagen, unterschiedliche Buchhaltungsrichtlinien, Änderungen von Vorschriften oder Widersprüche zwischen Datensätzen bewältigen kann. Für weiterreichende Schlussfolgerungen wären eigens dafür konzipierte Prüfungen nötig.

Eine Prüfung ist kein realer Monatsabschluss

Ein Monatsabschluss ist ein in einer Organisation verankerter Prozess. Dabei müssen Informationen aus unterschiedlichen Quellen verarbeitet, interne Richtlinien und Kontrollen angewendet, Abweichungen geklärt und nachvollziehbare Unterlagen hinterlassen werden, die andere prüfen können. Diese allgemeine Beschreibung bedeutet nicht, dass alle Unternehmen nach demselben Verfahren arbeiten. Gerade wegen dieser Unterschiede ist eine begrenzte Aufgabenprüfung nur dann repräsentativ für die Praxis, wenn erklärt wird, welche Arbeitsschritte sie nachbildet, welche Informationen bereitgestellt werden und was außerhalb ihres Umfangs liegt.

Die verfügbaren Quellen erläutern nicht, ob das Modell externe Werkzeuge nutzte, wie viel Zeit zur Verfügung stand, wie viele Versuche erlaubt waren oder welche Konfiguration verwendet wurde. Solche Bedingungen können die Bedeutung eines Vergleichs verändern. Ebenso ist nicht bekannt, ob die Aufgaben automatisch, durch eine fachkundige Person oder mit einer Kombination aus beiden Methoden bewertet wurden. Ohne diese Angaben lässt sich die Reproduzierbarkeit nicht beurteilen. Auch kann nicht ausgeschlossen werden, dass Entscheidungen bei der Bewertung die Punktzahl beeinflussten.

Auch beim Vergleich mit Fachkräften ist Vorsicht geboten. Ein aussagekräftiger Vergleich sollte die Erfahrung der Teilnehmenden beschreiben, Menschen und Modell dieselben Anweisungen und Materialien geben, vergleichbare Zeitlimits festlegen und offenlegen, welche Hilfsmittel zugelassen waren. Sind die Bedingungen nicht gleichwertig, kann ein Unterschied bei den Prozentwerten sowohl die Fähigkeiten der jeweiligen Gruppe als auch den Aufbau der Prüfung widerspiegeln. Die vorliegenden Informationen ermöglichen keine Bestätigung, dass die Bedingungen gleichwertig waren.

Was nötig wäre, um die Aussage einzuordnen

Eine unabhängige Wiederholung könnte zeigen, ob das Ergebnis auch außerhalb der Umgebung Bestand hat, in der die Prüfung entwickelt wurde. Damit sie aussagekräftig ist, müsste sie die Aufgaben, Anweisungen, Bewertungsmaßstäbe, Stichprobengröße und Bewertungsmethode ausreichend genau veröffentlichen oder beschreiben. Hilfreich wäre außerdem, Ergebnisse nach Aufgabenkategorien aufzuschlüsseln und fehlgeschlagene, teilweise erfolgreiche und verweigerte Antworten zu erläutern, statt nur einen Gesamtwert zu nennen.

Die Prüfung sollte das Modell und seine Konfiguration identifizieren und dokumentieren, welche Werkzeuge verfügbar waren, welches Ausführungsbudget galt und wie viele Versuche zugelassen wurden. Für den menschlichen Vergleich müssten die Teilnehmenden beschrieben und möglichst gleichwertige Bedingungen angewandt werden. Nicht jede Prüfung muss eine vollständige Arbeitsumgebung nachbilden. Sie sollte aber klar benennen, welche Frage sie beantwortet – und welche nicht.

Wenn solche Daten veröffentlicht werden, könnten Lesende und Fachleute zwischen Fortschritten bei klar abgegrenzten Aufgaben und einer umfassenderen Fähigkeit zur Unterstützung von Buchhaltungsprozessen unterscheiden. Bis dahin ist die bestätigte Aussage enger gefasst: Mercor meldete für Claude Opus 5 bei einer als ähnlich zu Tätigkeiten zum Monatsabschluss beschriebenen Bewertung 100 %. Ein sekundärer Bericht nannte für menschliche Teilnehmende 37 %. Anhand der hier überprüften Materialien lassen sich weder die Berechnung auditieren noch Schlussfolgerungen ziehen, dass das Modell Buchhalterinnen und Buchhalter unter allgemeinen Arbeitsbedingungen übertroffen hat.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.