OpenProblemBench evalúa la IA con 82 problemas científicos sin resolver

Una evaluación más allá de las respuestas conocidas

OpenProblemBench es un benchmark diseñado para poner a prueba sistemas de inteligencia artificial con problemas todavía abiertos de matemáticas y física teórica. El trabajo, publicado como preprint en arXiv el 8 de octubre de 2026, presenta 82 problemas extraídos de la literatura de esas disciplinas. La propuesta busca evaluar algo distinto de responder preguntas con soluciones ya establecidas: si un modelo puede aportar pasos válidos hacia una cuestión científica que sigue sin resolverse.

La motivación es que una respuesta puede parecer convincente y, aun así, no constituir progreso matemático o científico. En problemas abiertos, no siempre existe una solución de referencia que permita comparar automáticamente la salida. El benchmark intenta afrontar esa dificultad proporcionando contexto de investigación y recurriendo a evaluadores que juzgan las entregas. El resumen del trabajo describe el diseño y los resultados, pero no basta por sí solo para establecer cómo se aplicaron todos los criterios a cada problema.

Qué incluye el conjunto de problemas

Los autores describen los 82 casos como problemas sin resolver tomados de la literatura matemática y de física teórica. Para cada uno, el benchmark proporciona contexto de investigación, supuestos y avances previos. Ese material pretende que los sistemas no partan de una pregunta aislada, sino de información relevante para investigar el problema.

La selección se centra en cuestiones cuyas afirmaciones matemáticas o computacionales decisivas admiten comprobaciones comparativamente claras. Esto delimita el tipo de problemas incluidos: el conjunto no representa necesariamente todas las áreas de la ciencia teórica ni todos los desafíos de investigación abierta. El resumen disponible no detalla los criterios de inclusión caso por caso, cómo se determinó que cada problema seguía abierto ni qué documentación acompaña a cada enunciado; esos aspectos requieren consultar el texto completo y sus materiales asociados antes de extraer conclusiones sobre cobertura o reproducción.

Cómo se juzgan las respuestas

Cuatro modelos evaluadores examinan de forma independiente cada entrega, según el resumen del preprint. Valoran tres dimensiones: corrección, completitud y grado de progreso. La evaluación se realiza sin soluciones de referencia, una decisión que permite trabajar con problemas abiertos, pero que también hace importante entender la rúbrica y los límites del juicio automatizado.

El resumen no afirma que esos cuatro evaluadores sean especialistas humanos ni verificadores formales, y no describe una comparación con un patrón experto. Por ello, sus juicios deben entenderse como evaluaciones producidas por modelos, no como certificación independiente de una prueba matemática. Comprobar una afirmación computacional decisiva puede ser más directo en algunos casos; validar una demostración o determinar si un argumento cubre todos los casos puede exigir revisión especializada. La información aportada no permite precisar qué métodos de verificación se usaron en cada tarea.

Qué resultados comunica el preprint

En siete configuraciones evaluadas, el trabajo informa que GPT-6-Astra obtuvo la mayor tasa media de resolución juzgada: 14,0%. Los modelos abiertos de tamaño completo evaluados alcanzaron entre 5,5% y 6,7%, mientras que las configuraciones Flash registraron entre 2,4% y 3,7%. Estas cifras describen los resultados reportados para las configuraciones estudiadas; no son una medida universal de capacidad científica ni una comparación de todos los modelos disponibles.

Los autores también relacionan, a partir de comparaciones de casos, resultados más sólidos con cambios en la representación del problema, argumentos generales que van más allá de evidencia finita y pruebas de los pasos necesarios para completar una solución. Esas observaciones ofrecen pistas sobre las respuestas que recibieron mejor evaluación, pero el resumen no permite inferir que cada patrón cause una mejora general ni que se reproduzca en otras disciplinas o benchmarks. Tampoco equivale una puntuación positiva a que el problema haya sido reconocido como resuelto por especialistas.

Qué falta para interpretar y reproducir la evaluación

El resultado debe situarse en su alcance documental: la evidencia aportada corresponde a la versión inicial del artículo en arXiv. No se indica que el trabajo haya superado revisión por pares, que exista replicación independiente o que sus puntuaciones hayan sido validadas externamente. Eso no invalida el benchmark, pero sí aconseja tratar sus conclusiones como resultados preliminares del estudio descrito.

Para juzgar su solidez hacen falta detalles reproducibles sobre los enunciados, las instrucciones y rúbricas, las respuestas evaluadas, los criterios para decidir qué cuenta como progreso y el acuerdo entre evaluadores. También conviene saber cómo se contrastaron los juicios automáticos con especialistas o verificaciones formales y qué medidas se tomaron frente a la posible presencia de problemas o soluciones en los datos de entrenamiento. El resumen disponible no resuelve esas cuestiones; por tanto, no se puede afirmar aquí que hubiera contaminación, ni que se la haya descartado.

Un instrumento de evaluación, no un certificado de descubrimiento

OpenProblemBench propone medir avances en tareas donde las respuestas no se comparan fácilmente con una solución conocida. Sus elementos centrales son un conjunto de problemas abiertos, información de contexto y una evaluación de corrección, completitud y progreso por cuatro modelos. El planteamiento aborda una dificultad real de los benchmarks tradicionales, pero depende de la calidad de la selección, de la claridad de las comprobaciones y de la fiabilidad de los evaluadores.

La conclusión más ajustada es que el preprint comunica resultados prometedores dentro de su propio protocolo, con GPT-6-Astra a la cabeza de las configuraciones estudiadas. Para convertir esa señal en evidencia más amplia se necesitan detalles verificables, evaluación experta y reproducción independiente. Hasta entonces, el benchmark sirve como propuesta para investigar las capacidades y limitaciones de la IA en ciencias teóricas fundamentales, no como demostración de que los sistemas hayan resuelto problemas abiertos en sentido científico.

Continúa explorando

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.