OpenProblemBench avalia a IA com 82 problemas científicos não resolvidos

Uma avaliação além das respostas conhecidas

O OpenProblemBench é um benchmark projetado para testar sistemas de inteligência artificial com problemas ainda abertos de matemática e física teórica. O trabalho, publicado como pré-impresso no arXiv em 8 de outubro de 2026, apresenta 82 problemas extraídos da literatura dessas disciplinas. A proposta busca avaliar algo diferente de responder perguntas com soluções já estabelecidas: se um modelo pode contribuir com passos válidos para uma questão científica que continua sem resolução.

A motivação é que uma resposta pode parecer convincente e, ainda assim, não constituir progresso matemático ou científico. Em problemas abertos, nem sempre existe uma solução de referência que permita comparar automaticamente a saída. O benchmark tenta enfrentar essa dificuldade fornecendo contexto de pesquisa e recorrendo a avaliadores que julgam as entregas. O resumo do trabalho descreve o design e os resultados, mas não é suficiente por si só para estabelecer como todos os critérios foram aplicados a cada problema.

O que inclui o conjunto de problemas

Os autores descrevem os 82 casos como problemas não resolvidos tomados da literatura matemática e de física teórica. Para cada um, o benchmark fornece contexto de pesquisa, suposições e avanços prévios. Esse material pretende que os sistemas não partam de uma pergunta isolada, mas de informação relevante para investigar o problema.

A seleção se concentra em questões cujas afirmações matemáticas ou computacionais decisivas admitem verificações comparativamente claras. Isso delimita o tipo de problemas incluídos: o conjunto não representa necessariamente todas as áreas da ciência teórica nem todos os desafios de pesquisa aberta. O resumo disponível não detalha os critérios de inclusão caso a caso, como se determinou que cada problema continuava aberto nem que documentação acompanha cada enunciado; esses aspectos requerem consultar o texto completo e seus materiais associados antes de extrair conclusões sobre cobertura ou reprodução.

Como se julgam as respostas

Quatro modelos avaliadores examinam de forma independente cada entrega, segundo o resumo do pré-impresso. Avaliam três dimensões: correção, completude e grau de progresso. A avaliação é realizada sem soluções de referência, uma decisão que permite trabalhar com problemas abertos, mas que também torna importante entender a rubrica e os limites do julgamento automatizado.

O resumo não afirma que esses quatro avaliadores sejam especialistas humanos nem verificadores formais, e não descreve uma comparação com um padrão experto. Por isso, seus julgamentos devem ser entendidos como avaliações produzidas por modelos, não como certificação independente de uma prova matemática. Verificar uma afirmação computacional decisiva pode ser mais direto em alguns casos; validar uma demonstração ou determinar se um argumento cobre todos os casos pode exigir revisão especializada. A informação fornecida não permite precisar quais métodos de verificação foram usados em cada tarefa.

Quais resultados o pré-impresso comunica

Em sete configurações avaliadas, o trabalho informa que o GPT-6-Astra obteve a maior taxa média de resolução julgada: 14,0%. Os modelos abertos de tamanho completo avaliados alcançaram entre 5,5% e 6,7%, enquanto as configurações Flash registraram entre 2,4% e 3,7%. Esses números descrevem os resultados reportados para as configurações estudadas; não são uma medida universal de capacidade científica nem uma comparação de todos os modelos disponíveis.

Os autores também relacionam, a partir de comparações de casos, resultados mais sólidos com mudanças na representação do problema, argumentos gerais que vão além de evidência finita e provas dos passos necessários para completar uma solução. Essas observações oferecem pistas sobre as respostas que receberam melhor avaliação, mas o resumo não permite inferir que cada padrão cause uma melhoria geral nem que se reproduza em outras disciplinas ou benchmarks. Também não equivale uma pontuação positiva a que o problema tenha sido reconhecido como resolvido por especialistas.

O que falta para interpretar e reproduzir a avaliação

O resultado deve ser situado em seu alcance documental: a evidência fornecida corresponde à versão inicial do artigo no arXiv. Não se indica que o trabalho tenha superado revisão por pares, que exista replicação independente ou que suas pontuações tenham sido validadas externamente. Isso não invalida o benchmark, mas aconselha tratar suas conclusões como resultados preliminares do estudo descrito.

Para julgar sua solidez, fazem-se necessários detalhes reproduzíveis sobre os enunciados, as instruções e rubricas, as respostas avaliadas, os critérios para decidir o que conta como progresso e o acordo entre avaliadores. Também é conveniente saber como os julgamentos automáticos foram contrastados com especialistas ou verificações formais e quais medidas foram tomadas frente à possível presença de problemas ou soluções nos dados de treinamento. O resumo disponível não resolve essas questões; portanto, não se pode afirmar aqui que houvesse contaminação, nem que ela tenha sido descartada.

Um instrumento de avaliação, não um certificado de descoberta

O OpenProblemBench propõe medir avanços em tarefas onde as respostas não se comparam facilmente com uma solução conhecida. Seus elementos centrais são um conjunto de problemas abertos, informação de contexto e uma avaliação de correção, completude e progresso por quatro modelos. O planteamento aborda uma dificuldade real dos benchmarks tradicionais, mas depende da qualidade da seleção, da clareza das verificações e da confiabilidade dos avaliadores.

A conclusão mais ajustada é que o pré-impresso comunica resultados promissores dentro de seu próprio protocolo, com o GPT-6-Astra à frente das configurações estudadas. Para converter esse sinal em evidência mais ampla, são necessários detalhes verificáveis, avaliação experta e reprodução independente. Até lá, o benchmark serve como proposta para investigar as capacidades e limitações da IA em ciências teóricas fundamentais, não como demonstração de que os sistemas tenham resolvido problemas abertos em sentido científico.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.