OpenProblemBench évalue l’IA sur 82 problèmes scientifiques non résolus

Une évaluation au-delà des réponses déjà connues

OpenProblemBench est un benchmark conçu pour mettre à l’épreuve des systèmes d’intelligence artificielle sur des problèmes encore ouverts en mathématiques et en physique théorique. Présenté dans un préprint publié sur arXiv le 8 octobre 2026, il rassemble 82 problèmes tirés de la littérature de ces disciplines. L’objectif est d’évaluer autre chose que la capacité à répondre à des questions dont la solution est déjà établie : le système peut-il apporter des étapes valides vers la résolution d’une question scientifique qui reste en suspens ?

Une réponse peut sembler convaincante sans constituer pour autant un progrès mathématique ou scientifique. Pour les problèmes ouverts, il n’existe pas toujours de solution de référence permettant une comparaison automatique. Le benchmark tente de surmonter cette difficulté en fournissant un contexte de recherche et en faisant évaluer les réponses par des modèles. Le résumé de l’étude décrit sa conception et ses résultats, mais ne suffit pas à établir comment tous les critères ont été appliqués à chaque problème.

Que contient l’ensemble de problèmes ?

Les auteurs présentent les 82 cas comme des problèmes non résolus issus de la littérature mathématique et de la physique théorique. Pour chacun, le benchmark fournit un contexte de recherche, les hypothèses et les avancées antérieures. L’idée est de ne pas soumettre aux systèmes une question isolée, mais de leur donner des informations pertinentes pour examiner le problème.

La sélection porte sur des questions dont les affirmations mathématiques ou computationnelles décisives se prêtent à des vérifications relativement claires. Cela circonscrit la portée du benchmark : l’ensemble ne représente pas nécessairement tous les domaines des sciences théoriques ni tous les défis de la recherche ouverte. Le résumé disponible ne détaille pas les critères d’inclusion pour chaque cas, la manière dont le statut ouvert de chaque problème a été établi, ni les documents associés à chaque énoncé. Il faut consulter l’article complet et ses éventuelles ressources complémentaires avant de tirer des conclusions sur la couverture ou la reproductibilité.

Comment les réponses sont-elles évaluées ?

Selon le résumé du préprint, quatre modèles évaluateurs examinent indépendamment chaque réponse. Ils jugent trois dimensions : l’exactitude, le degré d’achèvement et le niveau de progrès. L’évaluation se fait sans solution de référence, ce qui permet de traiter des problèmes ouverts, mais rend d’autant plus importante la compréhension de la grille d’évaluation et des limites du jugement automatisé.

Le résumé ne précise pas que ces quatre évaluateurs seraient des spécialistes humains ou des vérificateurs formels et ne décrit aucune comparaison avec une référence experte. Leurs jugements doivent donc être compris comme des évaluations produites par des modèles, et non comme la certification indépendante d’une preuve mathématique. La vérification d’une affirmation computationnelle décisive peut être relativement directe dans certains cas ; valider une démonstration ou déterminer si un raisonnement couvre tous les cas peut exiger l’intervention de spécialistes. Les informations fournies ne permettent pas de préciser quelles méthodes de vérification ont été utilisées pour chaque tâche.

Quels résultats le préprint rapporte-t-il ?

Sur sept configurations évaluées, l’étude indique que GPT-6-Astra obtient le taux moyen de résolution évaluée le plus élevé : 14,0 %. Les modèles ouverts de taille complète évalués atteignent entre 5,5 % et 6,7 %, tandis que les configurations Flash se situent entre 2,4 % et 3,7 %. Ces chiffres décrivent les résultats rapportés pour les configurations étudiées ; ils ne constituent ni une mesure universelle des capacités scientifiques ni une comparaison de tous les modèles disponibles.

À partir de comparaisons de cas, les auteurs associent également les meilleurs résultats à des changements dans la représentation du problème, à des arguments généraux qui vont au-delà d’éléments de preuve finis et à des démonstrations des étapes nécessaires pour achever une solution. Ces observations donnent des indications sur les types de réponses qui ont reçu les meilleures évaluations, mais le résumé ne permet pas de conclure que chaque tendance entraîne une amélioration générale ni qu’elle se reproduirait dans d’autres disciplines ou benchmarks. Un score positif ne signifie pas non plus que des spécialistes ont reconnu le problème comme résolu.

Ce qu’il reste à vérifier pour interpréter et reproduire l’évaluation

Les résultats doivent être replacés dans leur contexte documentaire : les éléments fournis concernent la première version de l’article déposée sur arXiv. Rien n’indique que le travail ait été évalué par les pairs, qu’il ait fait l’objet d’une réplication indépendante ou que ses scores aient été validés de manière externe. Cela n’invalide pas le benchmark, mais invite à considérer ses conclusions comme les résultats préliminaires de l’étude décrite.

Pour en apprécier la solidité, il faut des détails reproductibles sur les énoncés, les consignes et les grilles d’évaluation, les réponses examinées, les critères définissant un progrès et le degré d’accord entre évaluateurs. Il est également utile de savoir comment les jugements automatisés ont été comparés à ceux de spécialistes ou à des vérifications formelles, et quelles mesures ont été prises face à la possibilité que des problèmes ou leurs solutions figurent dans les données d’entraînement. Le résumé disponible ne répond pas à ces questions ; on ne peut donc affirmer ici ni qu’il y a eu contamination, ni qu’elle a été exclue.

Un outil d’évaluation, pas un certificat de découverte

OpenProblemBench propose de mesurer les progrès dans des tâches pour lesquelles les réponses ne peuvent pas être facilement comparées à une solution connue. Ses éléments centraux sont un ensemble de problèmes ouverts, des informations contextuelles et une évaluation de l’exactitude, du degré d’achèvement et des progrès par quatre modèles. Cette approche s’attaque à une difficulté réelle des benchmarks traditionnels, mais elle dépend de la qualité de la sélection, de la clarté des vérifications et de la fiabilité des évaluateurs.

La conclusion la plus mesurée est que le préprint rapporte des résultats prometteurs dans le cadre de son propre protocole, avec GPT-6-Astra en tête parmi les configurations étudiées. Pour transformer ce signal en éléments de preuve plus larges, il faut des détails vérifiables, une évaluation experte et une réplication indépendante. En attendant, le benchmark constitue une proposition pour étudier les capacités et les limites de l’IA dans les sciences théoriques fondamentales ; il ne démontre pas que les systèmes ont résolu des problèmes ouverts au sens scientifique.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.