Open-Endedness Bench: o que é possível afirmar e o que ainda não foi verificado

A ideia é relevante; as evidências concretas não estão confirmadas

Avaliar um agente pela resposta que apresenta no final pode ser insuficiente quando ele trabalha em uma tarefa aberta. Nesses casos, talvez não exista uma solução única com a qual comparar o resultado: importa também como ele chegou a essa resposta, que testes realizou e se mudou de direção ao encontrar evidências em contrário. Essa é a necessidade proposta pelo método chamado Open-Endedness Bench (OEB), descrito no material editorial recebido como uma forma de examinar registros de execução de agentes.

No entanto, a documentação disponível para esta revisão não permite confirmar o preprint citado, seu conteúdo ou a existência de materiais complementares. Também não foram fornecidos o artigo original, instruções de avaliação, registros, código ou resultados reproduzíveis. Por isso, não é possível apresentar como fatos os critérios que o OEB supostamente aplica, os agentes avaliados ou as pontuações que teria obtido. A proposta pode ser descrita como uma ideia ainda pendente de verificação, não como um benchmark validado.

Essa distinção importa: explicar por que faz sentido medir o processo de pesquisa não equivale a demonstrar que um método específico consegue medi-lo de maneira confiável. Nesta nota, as considerações sobre hipóteses, experimentos e revisões são apresentadas como perguntas e critérios úteis para avaliar uma metodologia desse tipo — não como características confirmadas do OEB.

O que seria necessário observar em um registro de pesquisa

Uma avaliação do processo precisaria de mais do que uma sequência de mensagens bem escritas. Para examinar o raciocínio operacional de um agente, o registro teria de permitir distinguir o que o sistema propôs, as ações que realmente executou e os resultados que obteve. Sem essa separação, uma narrativa posterior poderia descrever experimentos plausíveis sem demonstrar que eles aconteceram.

Também seria necessário reconstruir a relação entre uma hipótese e um teste. Por exemplo, se o agente propõe que uma mudança de configuração melhorará um resultado, o registro deveria mostrar a configuração testada, as condições de comparação, a saída observada e a decisão tomada em seguida. Não basta que esses elementos apareçam em algum lugar: eles precisam corresponder à mesma pergunta e preservar contexto suficiente para que outra pessoa possa revisar a interpretação.

A revisão de hipóteses é outro sinal potencial. Um agente que mantém uma explicação apesar de resultados incompatíveis pode estar ignorando evidências; já um agente que muda de conclusão deveria mostrar qual observação motivou essa mudança. Mas um registro isolado não determina automaticamente se a revisão foi razoável. Para avaliá-la, são necessários critérios explícitos, uma definição do que conta como evidência relevante e, se houver avaliadores humanos, informações sobre como seus julgamentos foram comparados.

Essas condições são requisitos que valeria a pena procurar em qualquer benchmark de pesquisa automatizada. Não é possível atribuí-las ao OEB enquanto não houver um artigo verificável que detalhe seu protocolo.

Uma resposta final e um processo são objetos de avaliação diferentes

Benchmarks de tarefas fechadas podem comparar uma saída com uma resposta esperada ou com um resultado verificável. Em uma pesquisa aberta, por outro lado, a qualidade nem sempre se resume a acertar uma resposta: também pode depender da escolha dos experimentos, da interpretação de dados incompletos e da capacidade de revisar uma explicação. Isso não torna inúteis as métricas finais; apenas indica que elas respondem a uma pergunta diferente.

Como contexto limitado, a OpenAI descreve o SWE-bench Verified como um subconjunto do SWE-bench validado por pessoas para avaliar de forma mais confiável a capacidade dos modelos de resolver problemas de software. Esse exemplo ajuda a ilustrar que a validação de tarefas e resultados pode fazer parte do desenho de um benchmark. Não demonstra, porém, que um sistema avalie pesquisa aberta nem que meça a qualidade das hipóteses de um agente.

Para avaliar uma proposta como o OEB, seria necessário saber, no mínimo, quais tarefas ela inclui, quais agentes são comparados, quais unidades recebem pontuação e como são definidos os critérios de qualidade. Também seria preciso saber se as pontuações foram validadas por avaliadores humanos, se o nível de concordância entre eles foi medido e se o método foi testado com registros enganosos, incompletos ou escritos sem que as ações tivessem sido executadas. Sem esses detalhes, não é possível interpretar uma eventual pontuação como evidência de rigor científico.

O que falta para avaliar a proposta

A publicação de um preprint seria apenas o primeiro passo para avaliar a proposta. Para verificar suas afirmações metodológicas, seriam necessários materiais que permitissem reproduzir a avaliação: descrição das tarefas, rubricas, exemplos de registros, instruções para os avaliadores e resultados detalhados. O acesso ao código e aos registros originais também ajudaria a verificar se as pontuações dependem do formato do registro ou de decisões específicas da equipe de pesquisa.

Uma avaliação independente precisaria examinar tanto a validade quanto a robustez. Validade significa que as pontuações refletem o processo que afirmam medir, e não, por exemplo, a extensão do registro ou a fluência de sua redação. Robustez implica verificar se as conclusões se mantêm com outros agentes, tarefas e avaliadores. Se o método utilizar anotação humana, também seria importante conhecer o nível de concordância e os casos de discordância, não apenas uma média agregada.

A página institucional da OpenAI sobre o SWE-bench Verified fornece contexto sobre um benchmark diferente e sua validação humana; não é evidência de que o OEB tenha passado por uma avaliação equivalente. Da mesma forma, um trabalho sobre outro benchmark de agentes não confirma os dados nem o desenho do OEB. A semelhança temática entre projetos não substitui uma fonte primária do estudo que se pretende descrever.

Conclusão: não confundir uma proposta plausível com um resultado estabelecido

A pergunta levantada pelo Open-Endedness Bench — como avaliar o que um agente faz durante uma pesquisa, além da resposta que apresenta no final — é pertinente para tarefas sem uma solução de referência simples. Mas, com as fontes verificadas fornecidas, não é possível confirmar que o preprint citado exista com esse título, nem descrever de maneira responsável sua metodologia ou seus resultados. Também não há base suficiente para afirmar quais agentes foram avaliados, que pontuações obtiveram ou se seus registros e ferramentas estão disponíveis.

A conclusão prática é provisória: antes de tratar o OEB como um benchmark operacional, é necessário localizar e examinar sua fonte primária e seus materiais. Até lá, a conduta rigorosa é manter separadas a motivação geral — avaliar hipóteses, testes e revisões — e as afirmações específicas sobre o método. Essa cautela não invalida a ideia; evita atribuir-lhe resultados que ainda não foram comprovados.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.