Un precedente en la gobernanza de la IA
Anthropic ha anunciado la concesión de permisos internos a seis miembros de METR (Model Evaluation and Threat Research), una organización independiente sin ánimo de lucro. Esta medida, descrita como un acceso de 'nivel de empleado', permite a los evaluadores externos operar dentro de los sistemas de la compañía con una autonomía sin precedentes en la industria.
El objetivo declarado es cerrar la brecha entre la comprensión interna de los sistemas de IA y la capacidad de los auditores para verificarlos. Al integrar a estos evaluadores en el día a día, la empresa busca garantizar que las conclusiones sobre riesgos, incidentes y prácticas operativas se basen en una observación directa y no en reportes filtrados o limitados por la propia compañía.
Qué implica el 'acceso de nivel empleado'
En la práctica, este acceso se traduce en la provisión de hardware corporativo, espacio físico en las oficinas de Anthropic y credenciales para utilizar las herramientas internas de evaluación de riesgos. Los investigadores de METR pueden interactuar con los modelos y los sistemas de monitoreo de agentes de la misma manera que lo haría un técnico interno del equipo de seguridad.
Sin embargo, este acceso no es total. Quedan excluidos explícitamente los datos de clientes, la información protegida por secreto profesional y la arquitectura técnica detallada de los modelos. Esta distinción es crucial para equilibrar la transparencia con la protección de la propiedad intelectual y la privacidad de los usuarios.
Alcance del acceso concedido a METR
Comparativa entre lo que los evaluadores pueden y no pueden acceder.
| Categoría | Acceso permitido | Acceso restringido |
|---|---|---|
| Hardware y oficina | Sí (equipos y espacio propios) | N/A |
| Modelos y APIs | Sí (ejecución y evaluación) | N/A |
| Datos de clientes | No | Totalmente excluido |
| Arquitectura del modelo | No | Excluido por confidencialidad |
El marco de tres niveles de auditoría
Anthropic está diseñando un sistema escalonado de acceso para otros evaluadores. El primer nivel, en el que se encuentra actualmente SecureBio, implica investigaciones de alcance muy delimitado y requiere autorización previa para publicar. El segundo nivel otorga más información y permite publicar sin aprobación previa, sujeto a supresiones específicas que el auditor puede rebatir públicamente.
METR opera en el tercer nivel, el más avanzado. Este nivel combina el acceso técnico completo (similar al de un empleado) con derechos de publicación análogos al segundo nivel. La compañía ha indicado que está en conversaciones con otras entidades, como Hugging Face y Faculty (filial de Accenture), para integrarlas en este esquema, aunque sus derechos actuales son más restringidos.
Jerarquía de acceso para evaluadores externos
Proceso de integración y permisos según el nivel de confianza y alcance.
- 01Nivel 1: Acceso limitado, publicación sujeta a aprobación previa (ej. SecureBio).
- 02Nivel 2: Acceso ampliado, publicación libre con posibilidad de censura técnica rebatible.
- 03Nivel 3: Acceso de nivel empleado, publicación independiente con censura solo por confidencialidad estricta (METR).
Independencia y controversias
Aunque METR se define como independiente y no recibe financiación directa de los laboratorios que evalúa, existen críticas sobre su autonomía. La organización cuenta con investigadores que proceden de Anthropic, OpenAI y DeepMind, y su financiación proviene en gran parte de fundaciones vinculadas al movimiento del altruismo eficaz, con el que Dario Amodei, CEO de Anthropic, mantiene vínculos familiares y profesionales.
Críticos como David Sacks han señalado que esta cercanía podría comprometer la objetividad de las auditorías. No obstante, METR ha enfatizado que su metodología se basa en la evaluación científica de capacidades autónomas y que su trabajo, como la revisión de los sistemas de monitoreo de agentes de Anthropic, ha identificado vulnerabilidades reales que la compañía ha corregido.
Implicaciones para la industria y la regulación
Esta iniciativa se enmarca en la propuesta de Dario Amodei de 'moderar el avance de la frontera' de la IA. Al establecer un estándar de transparencia verificable, Anthropic busca influir en la regulación futura, argumentando que los laboratorios deben asumir la responsabilidad de demostrar la seguridad de sus modelos antes de que los gobiernos impongan restricciones coercitivas.
Para el resto de la industria, este movimiento plantea un dilema: adoptar un nivel similar de transparencia para mantener la competitividad regulatoria o mantener el control sobre la información técnica. La capacidad de METR para cuestionar públicamente las censuras impuestas por Anthropic añade una capa de rendición de cuentas que podría convertirse en un requisito estándar para los modelos de frontera en los próximos años.
Qué sigue abierto
- No se ha confirmado si este modelo de acceso será adoptado por otros laboratorios como OpenAI o Google en el corto plazo.
- El impacto real de las auditorías de METR en la reducción de riesgos catastróficos aún no ha sido cuantificado de forma independiente.
- No está claro cómo se gestionarán las posibles discrepancias entre la interpretación de la 'confidencialidad' por parte de Anthropic y la de METR en casos límite.
Continúa explorando
Fuentes consultadas
Correcciones y transparencia
Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.
Proponer una corrección