Artículo 10 del AI Act: requisitos de datos de entrenamiento y su aplicación práctica

Alcance y definición del artículo 10

El artículo 10 del Reglamento (UE) 2024/1689, conocido como AI Act, establece los requisitos específicos para los conjuntos de datos de entrenamiento, validación y prueba utilizados en el desarrollo de sistemas de IA de alto riesgo. Su objetivo es garantizar que estos sistemas se basen en datos de alta calidad que minimicen los riesgos para la salud, la seguridad y los derechos fundamentales.

Este artículo se aplica a los sistemas de IA de alto riesgo que utilizan técnicas de entrenamiento de modelos. En caso de que el sistema no emplee dichas técnicas, los requisitos se limitan exclusivamente a los conjuntos de datos de prueba. La norma exige que los datos cumplan con criterios de pertinencia, representatividad, exactitud y completitud, adaptados a la finalidad prevista del sistema.

La distinción entre sistemas que emplean técnicas de entrenamiento de modelos y aquellos que no las utilizan es fundamental para determinar el alcance exacto de las obligaciones. Cuando un sistema de alto riesgo no se basa en el aprendizaje automático o en la adaptación de parámetros mediante datos, la normativa reduce el perímetro de cumplimiento a la verificación de los conjuntos de datos de prueba. Esta limitación refleja la lógica de que, sin un proceso de entrenamiento, no existen conjuntos de entrenamiento ni de validación sujetos a los mismos criterios de calidad estadística, pero sí persiste la necesidad de garantizar que la evaluación final del sistema se realice sobre datos que cumplan con los estándares de pertinencia y exactitud exigidos por la ley.

El objetivo de minimizar riesgos para la salud, la seguridad y los derechos fundamentales se materializa a través de la exigencia de datos de alta calidad. Esto implica que la calidad no es un atributo abstracto, sino un requisito técnico y legal que debe ser demostrable. La adaptación de los criterios a la finalidad prevista del sistema significa que no existe un estándar único y universal de calidad, sino que cada proveedor debe justificar cómo sus datos específicos son adecuados para la tarea concreta que el sistema de IA está diseñado para realizar, asegurando así que la base empírica del sistema sea robusta y fiable desde su concepción hasta su despliegue.

Los cuatro criterios de calidad de datos

La ley define cuatro pilares fundamentales para la calidad de los datos. Primero, la pertinencia: los datos deben ser adecuados para la finalidad específica del sistema. Segundo, la representatividad: los conjuntos deben reflejar adecuadamente a las personas o grupos sobre los que se utilizará el sistema, incluyendo sus propiedades estadísticas.

Tercero, la exactitud: los datos deben estar exentos de errores en la medida de lo posible. Cuarto, la completitud: los datos deben ser completos para la finalidad perseguida. Estos criterios pueden cumplirse a nivel de conjuntos individuales o mediante la combinación de varios conjuntos de datos. La gobernanza de datos debe incluir procesos de recogida, preparación, anotación y evaluación de sesgos.

La posibilidad de cumplir con los criterios de calidad mediante la combinación de varios conjuntos de datos introduce una flexibilidad operativa significativa. Los proveedores no están obligados a depender de una única fuente de datos si esta no puede satisfacer por sí sola los requisitos de representatividad o completitud. En su lugar, pueden integrar múltiples fuentes, siempre que la combinación resultante garantice que las propiedades estadísticas necesarias para la finalidad del sistema estén presentes. Esta aproximación permite abordar la heterogeneidad de las poblaciones objetivo y las variaciones en la disponibilidad de datos, facilitando la construcción de conjuntos de datos más robustos y representativos que un solo conjunto podría ofrecer.

La gobernanza de datos como proceso continuo abarca desde la recogida inicial hasta la evaluación final de sesgos. Esto significa que la calidad no se verifica únicamente al final del ciclo de desarrollo, sino que debe ser monitorizada y ajustada a lo largo de todas las etapas. Los procesos de preparación, como la anotación y la limpieza, son críticos para garantizar la exactitud, mientras que la evaluación de sesgos asegura que la representatividad no se vea comprometida por sesgos sistemáticos. Esta integración de la gobernanza en el ciclo de vida del desarrollo de datos es esencial para mantener la conformidad legal y la integridad técnica del sistema de IA.

Gobernanza y gestión de sesgos

El artículo 10, apartado 2, exige prácticas de gobernanza de datos que aborden desde las opciones de diseño hasta la identificación de lagunas. Es obligatorio examinar posibles sesgos que puedan afectar a la salud, la seguridad o los derechos fundamentales, especialmente cuando los resultados de los datos influyan en futuras operaciones.

Los proveedores deben implementar medidas para detectar, prevenir y mitigar estos sesgos. La documentación debe incluir hipótesis sobre lo que los datos representan y una evaluación de la disponibilidad e idoneidad de los conjuntos. Esta gobernanza no es opcional, sino un requisito legal vinculante para la conformidad del sistema.

La obligación de examinar posibles sesgos que afecten a la salud, la seguridad o los derechos fundamentales es especialmente relevante cuando los resultados de los datos influyen en futuras operaciones del sistema. Esto implica que los sesgos no son solo un problema de precisión estadística, sino un riesgo potencial para la seguridad y la equidad. La gobernanza de datos debe, por tanto, incluir mecanismos proactivos para identificar estos sesgos antes de que se manifiesten en el comportamiento del sistema, permitiendo su corrección temprana. La documentación de estas hipótesis y evaluaciones no es solo un requisito formal, sino una herramienta clave para la transparencia y la rendición de cuentas ante las autoridades regulatorias.

La implementación de medidas para detectar, prevenir y mitigar sesgos requiere un enfoque sistemático y documentado. Los proveedores deben demostrar que han adoptado prácticas de gobernanza que van más allá de la simple limpieza de datos, incluyendo la revisión crítica de las fuentes de datos y la evaluación de su idoneidad. Esta gobernanza vinculante asegura que los sistemas de IA de alto riesgo no solo sean técnicamente funcionales, sino también éticamente responsables, protegiendo a los usuarios finales de posibles discriminaciones o daños derivados de datos de baja calidad o sesgados.

Excepciones para datos sensibles

El apartado 5 permite el tratamiento excepcional de categorías especiales de datos personales (datos sensibles) solo si es estrictamente necesario para detectar y corregir sesgos. Esta excepción está sujeta a condiciones estrictas para proteger los derechos y libertades fundamentales.

Entre las condiciones se incluye la imposibilidad de lograr el objetivo mediante datos sintéticos o anonimizados, la aplicación de medidas de seguridad de última generación (como la seudonimización) y la prohibición de transmitir estos datos a otras partes. Los datos deben suprimirse una vez corregido el sesgo o finalizado el período de conservación, lo que ocurra primero.

La excepción para el tratamiento de datos sensibles está diseñada para equilibrar la necesidad de corregir sesgos con la protección de los derechos fundamentales. La condición de estricta necesidad implica que el proveedor debe demostrar que no existe otra forma de detectar o corregir el sesgo sin recurrir a estos datos. La imposibilidad de lograr el objetivo mediante datos sintéticos o anonimizados es un umbral alto que requiere una justificación técnica sólida. Además, la aplicación de medidas de seguridad de última generación, como la seudonimización, es obligatoria para minimizar el riesgo de reidentificación y proteger la privacidad de los individuos cuyos datos son utilizados.

La prohibición de transmitir estos datos a otras partes y la obligación de suprimirlos una vez corregido el sesgo o finalizado el período de conservación refuerzan el principio de minimización de datos. Esto asegura que el uso de datos sensibles sea temporal y limitado a la finalidad específica de la corrección de sesgos. La eliminación de los datos tras su uso previene la acumulación innecesaria de información sensible y reduce el riesgo de brechas de seguridad, alineando la práctica con los principios de protección de datos y la ética en el desarrollo de sistemas de IA.

Documentación y vinculación con el artículo 9

La documentación de la curación de datos es un requisito clave. Debe registrarse la información sobre los procesos de recogida, las decisiones de exclusión y la evaluación de la calidad. Esta documentación no es un fin en sí mismo, sino una herramienta para demostrar la conformidad ante las autoridades regulatorias.

La documentación de datos debe vincularse con el sistema de gestión de riesgos del artículo 9. Los sesgos identificados en los datos son riesgos que deben ser gestionados dentro del ciclo de vida del sistema. La trazabilidad permite auditar cómo se han mitigado los riesgos asociados a la calidad de los datos.

La documentación de la curación de datos sirve como un puente entre la práctica técnica y la demostración legal de conformidad. Al registrar las decisiones de exclusión y los procesos de recogida, los proveedores crean una trazabilidad que permite a las autoridades auditar cómo se ha garantizado la calidad de los datos. Esta documentación no es un mero archivo histórico, sino una herramienta activa que debe mantenerse actualizada a lo largo del ciclo de vida del sistema. La vinculación con el sistema de gestión de riesgos del artículo 9 asegura que los problemas de calidad de datos sean tratados como riesgos operativos, sujetos a evaluación y mitigación continua.

La integración de los registros de gobernanza de datos en el sistema de gestión de riesgos permite una visión holística de los riesgos asociados al sistema de IA. Los sesgos no corregidos en los datos se convierten en riesgos que deben ser monitorizados y gestionados de forma proactiva. Esta aproximación asegura que la calidad de los datos no sea un aspecto aislado, sino parte integral de la estrategia de gestión de riesgos del proveedor, facilitando la identificación temprana de problemas y la implementación de medidas correctivas oportunas.

Checklist de cumplimiento y sanciones

Para demostrar el cumplimiento, los proveedores deben mantener una checklist operativa que verifique cada criterio del artículo 10. Esto incluye la validación de la representatividad, la documentación de las medidas de mitigación de sesgos y la justificación del uso de datos sensibles si aplica.

El incumplimiento de los requisitos del AI Act puede acarrear sanciones significativas. Aunque el artículo 10 no especifica multas directas, su incumplimiento afecta a la conformidad general del sistema de alto riesgo, lo que puede derivar en sanciones bajo el artículo 99, que establece multas de hasta 35 millones de euros o el 7% del volumen de negocio global anual para las infracciones más graves.

La checklist operativa de cumplimiento es una herramienta práctica para asegurar que todos los requisitos del artículo 10 se han satisfecho. Al verificar cada criterio, desde la pertinencia hasta la gestión de sesgos, los proveedores pueden identificar lagunas en su documentación o en sus procesos de gobernanza. La justificación del uso de datos sensibles, cuando aplica, debe ser especialmente detallada, demostrando la necesidad estricta y las medidas de seguridad implementadas. Esta checklist no solo sirve para la autoevaluación, sino también como evidencia ante las autoridades regulatorias en caso de inspección o auditoría.

El impacto de las sanciones por incumplimiento subraya la importancia crítica de la conformidad con el artículo 10. Aunque el artículo no especifica multas directas, la no conformidad afecta a la certificación del sistema de alto riesgo, lo que puede derivar en sanciones significativas bajo el artículo 99. La posibilidad de multas de hasta 35 millones de euros o el 7% del volumen de negocio global anual actúa como un fuerte incentivo para que los proveedores inviertan en la calidad de sus datos y en la robustez de sus procesos de gobernanza, asegurando que sus sistemas de IA sean seguros, fiables y respetuosos con los derechos fundamentales.

Continúa explorando

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.