Mercor attribue 100 % à Claude Opus 5 en comptabilité : ce que cela mesure et ne démontre pas

Le chiffre mis en avant et ce que nous pouvons confirmer

Un résultat attribué à Mercor place Claude Opus 5 à 100 % lors d’une évaluation de tâches comptables. La description disponible, qui n’a pas pu être confirmée de manière indépendante, présente l’exercice comme une évaluation de travaux comptables comparables à ceux d’une clôture mensuelle et compare ce résultat aux 37 % obtenus par des participants humains. De son côté, la publication de Mercor est intitulée « Human Baselines for Benchmarks: AI Now Outperforms Junior Accountants ». Ces éléments permettent de cerner l’affirmation et son contexte général, mais ne suffisent pas à reconstituer la manière dont le résultat a été obtenu.

Cette distinction est importante : un pourcentage frappant ne précise pas à lui seul ce qui a été considéré comme une réussite, le nombre de tâches évaluées ni la marge d’erreur acceptée. Les informations vérifiables fournies ici ne précisent ni le nombre d’exercices, ni le protocole complet, ni suffisamment d’exemples de tâches, ni le barème détaillé, ni les données nécessaires pour recalculer le score. Il n’est pas non plus établi si les 100 % signifient que toutes les tâches ont été réussies, qu’un score agrégé de cette valeur a été obtenu ou qu’une autre mesure a été utilisée.

Anthropic dispose d’une page officielle consacrée à Claude Opus 5 et d’une documentation de plateforme sur ce modèle. Ces sources peuvent servir à identifier le modèle et à consulter les informations officielles à son sujet, mais les éléments fournis ne confirment pas qu’Anthropic ait validé l’évaluation de Mercor. Le résultat doit donc être attribué à Mercor, et non présenté comme une certification indépendante du fournisseur du modèle.

Ce que l’on sait du test et ce qui reste incertain

La description disponible évoque des tâches comptables proches de celles d’une clôture mensuelle. Cela situe l’évaluation dans un contexte professionnel identifiable, mais l’expression « proche d’une clôture mensuelle » ne permet pas, à elle seule, de connaître les tâches précises. Au vu des sources fournies, nous ne savons pas si le modèle devait classer des opérations, rapprocher des écritures, vérifier des écritures comptables, préparer des rapports ou effectuer une combinaison de ces activités. Sans consulter et vérifier le protocole, il est impossible d’attribuer une liste précise de tâches au benchmark.

La taille de l’échantillon et la manière dont les exercices ont été élaborés ne sont pas non plus documentées ici. Ces éléments sont essentiels pour interpréter un résultat parfait : réussir un petit ensemble de cas n’apporte pas les mêmes éléments de preuve que réussir une batterie vaste, diversifiée et répétée. Sans connaître la sélection des tâches et les critères de notation, il est également impossible d’évaluer si le test favorisait un certain type de réponse ou couvrait des situations inhabituelles.

La comparaison avec des personnes exige le même degré de précision. Le chiffre de 37 % apparaît dans la source secondaire, mais les éléments disponibles ne précisent ni qui étaient les participants, ni leur nombre, ni leur expérience, ni s’ils ont effectué exactement les mêmes tâches dans des conditions équivalentes. Le titre de la publication de Mercor parle de comptables juniors, mais un titre ne remplace pas une description du groupe humain et de la procédure suivie.

Ce que signifie — et ne signifie pas — un score de 100 %

Au sens strict, les 100 % ne peuvent être interprétés qu’en connaissant la définition de la mesure et l’ensemble auquel elle s’applique. S’il s’agit d’un taux de tâches réussies, le chiffre décrirait la performance sur ces tâches précises ; s’il s’agit d’un score composite, il faudrait savoir comment ses différentes composantes ont été agrégées. Comme cette définition ne figure pas dans les informations vérifiées qui accompagnent cet article, il convient de conserver une formulation attribuée : Mercor a communiqué un résultat de 100 % dans son évaluation.

Ce chiffre ne révèle pas non plus, à lui seul, si des erreurs graves ou mineures, des réponses incomplètes ou des abstentions ont été mesurées. Un système qui détecte qu’il ne peut pas résoudre un cas peut se comporter de façon plus sûre qu’un système qui répond avec assurance mais se trompe. Pour comparer ces comportements, il faudrait toutefois savoir comment le benchmark a traité les abstentions et les différentes catégories d’erreurs. Les éléments disponibles ici ne permettent pas d’affirmer comment ces comportements ont été notés.

Un exemple hypothétique permet de comprendre la différence, sans le rattacher au test de Mercor : si une évaluation demandait de traiter dix documents courants et que le système les résolvait tous conformément à un barème fermé, le résultat décrirait cet ensemble. Il ne démontrerait pas automatiquement que le système sait traiter des documents incomplets, des règles comptables différentes, des changements réglementaires ou des divergences entre registres. Des tests conçus expressément pour ces situations seraient nécessaires pour étayer des conclusions plus générales.

Une évaluation n’équivaut pas à une clôture comptable réelle

Une clôture mensuelle s’inscrit dans le fonctionnement d’une organisation : elle suppose de travailler à partir d’informations provenant de sources diverses, d’appliquer des politiques et des contrôles internes, de résoudre des écarts et de conserver une trace que d’autres personnes pourront examiner. Cette description générale ne signifie pas que toutes les entreprises suivent la même procédure. C’est précisément en raison de ces différences qu’un test portant sur des tâches délimitées n’est représentatif du travail réel que si l’on explique quelles parties il reproduit, quelles informations il fournit et ce qu’il laisse de côté.

Les sources disponibles ne précisent pas si le modèle a utilisé des outils externes, combien de temps il avait, combien de tentatives il pouvait effectuer ni quelle configuration lui avait été attribuée. Or, ces conditions peuvent modifier le sens d’une comparaison. Nous ne savons pas non plus si le travail a été évalué automatiquement, par des experts ou selon une combinaison de méthodes. En l’absence de ces éléments, il est impossible d’évaluer la reproductibilité ou d’écarter l’influence des choix d’évaluation sur le score.

La comparaison avec des professionnels humains appelle également à la prudence. Pour être utile, elle devrait préciser l’expérience des participants, leur fournir les mêmes consignes et les mêmes documents qu’au modèle, fixer des limites de temps comparables et indiquer quels outils étaient autorisés. Si les conditions ne sont pas équivalentes, l’écart entre les pourcentages peut refléter à la fois les capacités de chaque groupe et la conception de l’exercice. Les informations fournies ne permettent pas de confirmer cette équivalence.

Ce qu’il faudrait pour évaluer l’affirmation

Une reproduction indépendante permettrait de vérifier si le résultat se maintient en dehors de l’environnement de ceux qui ont conçu l’évaluation. Pour être utile, elle devrait publier ou décrire avec suffisamment de détails les tâches, les consignes, le barème, la taille de l’échantillon et la méthode de notation. Il serait également utile de ventiler les résultats par catégorie de tâche et d’expliquer les réponses erronées, partielles et les abstentions, plutôt que de ne communiquer qu’un pourcentage global.

Le test devrait identifier le modèle et sa configuration, ainsi que documenter les outils disponibles, le budget d’exécution et le nombre de tentatives. La comparaison avec des humains devrait décrire les participants et appliquer des conditions raisonnablement équivalentes. Il ne s’agit pas de supposer que chaque test doit reproduire intégralement un environnement professionnel, mais d’indiquer clairement à quelle question il répond et quelles conclusions il ne permet pas de tirer.

Si ces informations sont publiées, les lecteurs et les spécialistes pourront distinguer une amélioration sur des tâches délimitées d’une capacité plus large à soutenir des processus comptables. En attendant, ce qui est confirmé reste plus limité : Mercor a communiqué un score de 100 % pour Claude Opus 5 lors d’une évaluation décrite comme proche de tâches de clôture mensuelle, et une source secondaire a rapporté un score de 37 % pour des participants humains. Les éléments vérifiés ici ne permettent ni d’auditer le calcul ni de conclure que le modèle a surpassé les comptables dans des conditions générales de travail.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.