Mercor atribui 100% a Claude Opus 5 em contabilidade: o que mede e o que não comprova

O número em destaque e o que podemos confirmar

Um resultado atribuído à Mercor coloca Claude Opus 5 em 100% em uma avaliação de tarefas contábeis. A descrição disponível, não confirmada de forma independente, apresenta o teste como uma avaliação de trabalho contábil semelhante a atividades de fechamento mensal e compara esse número a 37% para participantes humanos. A publicação da Mercor, por sua vez, tem como título que a inteligência artificial agora supera contadores juniores. Esses elementos permitem identificar a afirmação e seu contexto geral, mas não bastam para reconstruir como o resultado foi obtido.

A distinção importa: um percentual chamativo, por si só, não explica o que foi considerado sucesso, quantas tarefas foram avaliadas nem qual margem de erro foi aceita. As informações verificáveis fornecidas não incluem o número de exercícios, o protocolo completo, exemplos suficientes das tarefas, a rubrica detalhada ou os registros necessários para recalcular a pontuação. Também não está estabelecido se 100% significa que todas as tarefas foram aprovadas, que se atingiu uma pontuação agregada com esse valor ou que foi usada outra métrica.

A Anthropic tem uma página oficial sobre Claude Opus 5 e documentação de plataforma para o modelo. Essas fontes servem para identificá-lo e consultar informações oficiais a seu respeito, mas os dados fornecidos não confirmam que a Anthropic tenha validado a avaliação da Mercor. Portanto, o resultado deve ser atribuído à Mercor, e não apresentado como uma certificação independente do fornecedor do modelo.

O que se sabe sobre o teste — e o que ainda não está claro

A descrição disponível aponta para tarefas contábeis semelhantes às de um fechamento mensal. Isso situa a avaliação em um contexto profissional reconhecível, mas a expressão “semelhantes ao fechamento mensal” não identifica, por si só, as tarefas específicas. Com base nas fontes fornecidas, não sabemos se foi pedido ao modelo que classificasse operações, conciliasse registros, revisasse lançamentos, preparasse relatórios ou realizasse alguma combinação dessas atividades. Não é possível atribuir ao benchmark uma lista específica sem consultar e verificar seu protocolo.

O tamanho da amostra e a forma como os exercícios foram elaborados também não estão documentados aqui. Esse dado é essencial para interpretar um resultado perfeito: resolver corretamente um conjunto pequeno de casos não oferece a mesma evidência que passar por uma bateria ampla, diversificada e repetida. Sem conhecer a seleção das tarefas e os critérios de pontuação, tampouco é possível avaliar se o teste favorecia determinado tipo de resposta ou abrangia situações incomuns.

A comparação com pessoas exige o mesmo nível de detalhe. O número de 37% aparece na cobertura secundária, mas o material disponível não especifica quem eram os participantes, quantos eram, qual era sua experiência ou se realizaram exatamente as mesmas tarefas em condições equivalentes. O título da publicação da Mercor menciona contadores juniores, mas um título não substitui uma descrição do grupo humano nem do procedimento adotado.

O que significa — e o que não significa — um resultado de 100%

Em termos estritos, 100% só pode ser interpretado quando se conhece a definição da métrica e o conjunto ao qual ela foi aplicada. Se for uma taxa de tarefas aprovadas, o número descreveria o desempenho naquelas tarefas específicas; se for uma pontuação composta, seria necessário saber como seus componentes foram agregados. Como essa definição não aparece nas informações verificadas que acompanham este texto, convém manter a formulação atribuída: a Mercor divulgou 100% em sua avaliação.

O número tampouco revela, por si só, se foram medidos erros graves, erros menores, respostas incompletas ou abstenções. Um sistema que identifica que não consegue resolver um caso pode se comportar de forma mais segura do que um sistema que responde com confiança e erra. Mas, para comparar os dois, seria preciso saber como o benchmark tratou as abstenções e os diferentes tipos de falha. Não há dados suficientes aqui para afirmar como esses comportamentos foram pontuados.

Um exemplo hipotético ajuda a entender a diferença, sem atribuí-lo ao teste da Mercor: se uma avaliação pedisse o processamento de dez documentos rotineiros e o sistema resolvesse os dez de acordo com uma rubrica fechada, o resultado descreveria aquele conjunto. Isso não demonstraria automaticamente que ele pode lidar com documentos incompletos, critérios contábeis diferentes, mudanças regulatórias ou divergências entre registros. Para sustentar conclusões mais amplas, seriam necessários testes concebidos especificamente para essas situações.

Uma avaliação não equivale a um fechamento contábil real

O fechamento mensal é um processo situado em uma organização: exige trabalhar com informações de diferentes fontes, aplicar políticas e controles internos, resolver divergências e manter um registro que outras pessoas possam revisar. Essa descrição geral não significa que todas as empresas sigam o mesmo procedimento. Justamente por haver variações, um teste de tarefas delimitadas só é representativo do trabalho real se explicar quais partes reproduz, quais informações fornece e o que deixa de fora.

As fontes disponíveis não detalham se o modelo usou ferramentas externas, quanto tempo teve, quantas tentativas podia fazer ou qual configuração recebeu. Essas condições podem mudar o significado de uma comparação. Também não sabemos se o trabalho foi avaliado automaticamente, por revisão especializada ou por uma combinação de métodos. Sem esses dados, não é possível julgar a reprodutibilidade nem descartar que decisões de avaliação tenham influenciado a pontuação.

A comparação com profissionais humanos também exige cautela. Uma comparação útil deveria especificar a experiência dos participantes, fornecer a eles as mesmas instruções e materiais dados ao modelo, estabelecer limites de tempo comparáveis e explicar quais ferramentas eram permitidas. Se as condições não forem equivalentes, a diferença entre os percentuais pode refletir tanto as capacidades de cada grupo quanto o desenho do exercício. As informações fornecidas não permitem confirmar essa equivalência.

O que seria necessário para avaliar a afirmação

Uma reprodução independente permitiria verificar se o resultado se mantém fora do ambiente de quem elaborou a avaliação. Para ser informativa, ela deveria publicar ou descrever com detalhes suficientes as tarefas, as instruções, a rubrica, o tamanho da amostra e o método de avaliação. Também seria útil separar os resultados por categoria de tarefa e explicar as respostas malsucedidas, parciais e as abstenções, em vez de apresentar apenas um percentual total.

O teste deveria identificar o modelo e sua configuração, além de documentar as ferramentas disponíveis, o orçamento de execução e o número de tentativas. A comparação humana precisaria descrever os participantes e aplicar condições razoavelmente equivalentes. Não se trata de presumir que todo teste tenha de reproduzir um ambiente de trabalho completo, mas de declarar com clareza a que pergunta ele responde — e a quais não responde.

Se esses dados forem publicados, leitores e especialistas poderão distinguir entre uma melhoria em tarefas delimitadas e uma capacidade mais ampla de apoiar processos contábeis. Até lá, o que está confirmado é mais restrito: a Mercor divulgou uma pontuação de 100% para Claude Opus 5 em uma avaliação descrita como semelhante a tarefas de fechamento mensal, e uma cobertura secundária informou 37% para participantes humanos. O material verificado aqui não permite auditar o cálculo nem concluir que o modelo superou contadores em condições gerais de trabalho.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.