Mercor atribuye a Claude Opus 5 un 100 % en contabilidad: qué mide y qué no demuestra

La cifra destacada y lo que podemos confirmar

Un resultado atribuido a Mercor sitúa a Claude Opus 5 en el 100 % en una evaluación de tareas de contabilidad. La descripción disponible, que no ha podido confirmarse de forma independiente, presenta la prueba como una evaluación de trabajo contable similar a actividades de cierre mensual y compara esa cifra con un 37 % para participantes humanos. La publicación de Mercor, por su parte, lleva por título que la inteligencia artificial supera ahora a contables júnior. Estos datos permiten identificar la afirmación y su contexto general, pero no bastan para reconstruir cómo se obtuvo el resultado.

La distinción importa: un porcentaje llamativo no explica por sí solo qué se contó como éxito, cuántas tareas se evaluaron ni qué margen de error se aceptó. En la información verificable aportada no aparecen el número de ejercicios, el protocolo completo, ejemplos suficientes de las tareas, la rúbrica detallada ni los registros necesarios para recalcular la puntuación. Tampoco queda establecido si el 100 % significa que se aprobaron todas las tareas, que se alcanzó una puntuación agregada de ese valor o que se aplicó otra métrica.

Anthropic dispone de una página oficial de Claude Opus 5 y de documentación de plataforma para ese modelo. Esas fuentes sirven para identificar el modelo y consultar información oficial sobre él, pero los datos aportados no confirman que Anthropic haya validado la evaluación de Mercor. Por tanto, el resultado debe atribuirse a Mercor, no presentarse como una certificación independiente del proveedor del modelo.

Qué se sabe de la prueba y qué sigue sin estar claro

La descripción disponible apunta a tareas contables que se parecen a las de un cierre mensual. Eso sitúa la evaluación en un contexto profesional reconocible, pero la expresión «similar al cierre mensual» no identifica por sí misma las tareas concretas. No sabemos, a partir de las fuentes aportadas, si se pidió clasificar operaciones, conciliar registros, revisar asientos, preparar informes u otra combinación de actividades. No es posible asignar al benchmark una lista específica sin consultar y verificar su protocolo.

Tampoco está documentado aquí el tamaño de la muestra ni cómo se construyeron los ejercicios. Ese dato es esencial para interpretar un resultado perfecto: completar correctamente un conjunto pequeño de casos no ofrece la misma evidencia que superar una batería amplia, diversa y repetida. Sin conocer la selección de tareas y los criterios de puntuación, tampoco se puede evaluar si la prueba favorecía cierto tipo de respuesta o cubría situaciones inusuales.

La comparación con personas necesita el mismo nivel de detalle. Se ha difundido una cifra del 37 %, pero no se especifica en el material disponible quiénes eran los participantes, cuántos eran, qué experiencia tenían o si afrontaron exactamente las mismas tareas bajo condiciones equivalentes. El título de la publicación de Mercor habla de contables júnior, pero el título no reemplaza una descripción del grupo humano ni de su procedimiento.

Qué significa —y qué no— un 100 %

En términos estrictos, el 100 % solo puede interpretarse con la definición de la métrica y el conjunto al que se aplicó. Si se trata de una tasa de tareas aprobadas, hablaría del desempeño en esas tareas concretas; si es una puntuación compuesta, haría falta conocer cómo se agregaron sus componentes. Como esa definición no figura en la información verificada que acompaña esta pieza, conviene conservar la formulación atribuida: Mercor comunicó un 100 % en su evaluación.

La cifra tampoco revela por sí sola si se midieron errores graves, errores menores, respuestas incompletas o abstenciones. Un sistema que detecta que no puede resolver un caso puede comportarse de forma más segura que uno que responde con seguridad y se equivoca, pero para comparar ambos habría que saber cómo trató el benchmark las abstenciones y los distintos tipos de fallo. No hay datos suficientes aquí para afirmar cómo se puntuaron esos comportamientos.

Un ejemplo hipotético ayuda a entender la diferencia, sin atribuirlo a la prueba de Mercor: si una evaluación pidiera procesar diez documentos rutinarios y el sistema resolviera los diez según una rúbrica cerrada, el resultado describiría ese conjunto. No demostraría automáticamente que pueda manejar documentos incompletos, criterios contables distintos, cambios normativos o discrepancias entre registros. Para sostener conclusiones más amplias se necesitarían pruebas diseñadas expresamente para esas situaciones.

Una evaluación no equivale a un cierre contable real

Un cierre mensual es un proceso situado en una organización: requiere trabajar con información de distintas fuentes, aplicar políticas y controles internos, resolver diferencias y dejar un rastro que otras personas puedan revisar. Esta descripción general no significa que todas las empresas sigan el mismo procedimiento. Precisamente por esa variación, una prueba de tareas acotadas solo es representativa del trabajo real si se explica qué partes reproduce, qué información proporciona y cuáles quedan fuera.

Las fuentes disponibles no detallan si el modelo utilizó herramientas externas, cuánto tiempo tuvo, cuántos intentos podía realizar o qué configuración recibió. Esas condiciones pueden cambiar el significado de una comparación. Tampoco sabemos si el trabajo se calificó de forma automática, mediante revisión experta o con una combinación de métodos. Sin esos datos no es posible juzgar la reproducibilidad ni descartar que decisiones de evaluación influyeran en la puntuación.

El contraste con profesionales humanos también requiere cautela. Una comparación útil debería especificar la experiencia de los participantes, proporcionarles las mismas instrucciones y materiales que al modelo, fijar límites de tiempo comparables y explicar qué herramientas estaban permitidas. Si las condiciones no son equivalentes, la diferencia de porcentajes podría reflejar tanto las capacidades de cada grupo como el diseño del ejercicio. La información aportada no permite confirmar esa equivalencia.

Qué haría falta para valorar la afirmación

Una reproducción independiente permitiría comprobar si el resultado se mantiene fuera del entorno de quienes diseñaron la evaluación. Para que sea informativa, debería publicar o describir con suficiente detalle las tareas, las instrucciones, la rúbrica, el tamaño de la muestra y el método de calificación. También sería útil separar los resultados por categoría de tarea y explicar las respuestas fallidas, parciales y abstenciones, en lugar de ofrecer únicamente un porcentaje total.

La prueba debería identificar el modelo y su configuración, además de documentar las herramientas disponibles, el presupuesto de ejecución y el número de intentos. La comparación humana tendría que describir a los participantes y aplicar condiciones razonablemente equivalentes. No se trata de asumir que toda prueba debe reproducir un entorno laboral completo, sino de declarar con claridad qué pregunta responde y cuáles no.

Si esos datos se publican, lectores y especialistas podrían distinguir entre una mejora en tareas delimitadas y una capacidad más amplia para apoyar procesos contables. Hasta entonces, lo confirmado es más estrecho: Mercor comunicó una puntuación del 100 % para Claude Opus 5 en una evaluación descrita como similar a tareas de cierre mensual, y una comparación difundida sitúa en el 37 % la puntuación de participantes humanos. El material verificado aquí no permite auditar el cálculo ni concluir que el modelo haya superado a los contables en condiciones laborales generales.

Continúa explorando

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.