Article 10 de l'AI Act : exigences de qualité des données d'entraînement et application pratique

Portée et définition de l'article 10

L'article 10 du Règlement (UE) 2024/1689, connu sous le nom d'AI Act, établit les exigences spécifiques pour les ensembles de données d'entraînement, de validation et de test utilisés dans le développement des systèmes d'IA à haut risque. Son objectif est de garantir que ces systèmes reposent sur des données de haute qualité qui minimisent les risques pour la santé, la sécurité et les droits fondamentaux.

Cet article s'applique aux systèmes d'IA à haut risque qui utilisent des techniques d'entraînement de modèles. Si le système n'emploie pas de telles techniques, les exigences se limitent exclusivement aux ensembles de données de test. La norme exige que les données répondent à des critères de pertinence, de représentativité, d'exactitude et de complétude, adaptés à la finalité prévue du système.

La distinction entre les systèmes utilisant des techniques d'entraînement de modèles et ceux qui n'en utilisent pas est cruciale pour la détermination du périmètre d'application des obligations. Dans le cas où un système d'IA à haut risque ne recourt pas à l'entraînement de modèles, l'obligation de conformité aux critères de qualité se restreint strictement aux ensembles de données de test. Cette limitation reflète la logique réglementaire selon laquelle les risques liés à la qualité des données sont principalement générés lors des phases d'apprentissage et de validation, tandis que les tests servent à vérifier la robustesse finale du système. Les fournisseurs doivent donc documenter clairement la méthode technique employée pour justifier l'étendue de leurs obligations en matière de données, évitant ainsi toute ambiguïté lors des audits de conformité. Cette précision technique permet d'aligner les efforts de gouvernance des données avec la réalité opérationnelle du développement du système, garantissant que les ressources soient allouées efficacement là où les risques sont les plus élevés.

L'adaptation des critères de qualité à la finalité prévue du système implique une analyse contextuelle approfondie. La pertinence, par exemple, ne peut être évaluée de manière abstraite, mais doit être ancrée dans l'usage spécifique pour lequel le système a été conçu. Un même ensemble de données peut être pertinent pour une application de diagnostic médical mais insuffisant pour un système de tri administratif, même si les deux relèvent de la catégorie des systèmes à haut risque. Cette exigence d'adaptation oblige les fournisseurs à mener une évaluation préalable de la finalité avant de sélectionner ou de préparer les données. Elle impose également une documentation rigoureuse des choix effectués, démontrant que les données retenues sont effectivement adaptées aux objectifs déclarés du système. Cette approche préventive vise à prévenir les déviations d'usage et à garantir que le système ne soit pas appliqué à des fins pour lesquelles ses données ne sont pas conçues, réduisant ainsi les risques de dysfonctionnement ou de biais inattendus.

Les quatre critères de qualité des données

La loi définit quatre piliers fondamentaux pour la qualité des données. Premièrement, la pertinence : les données doivent être adaptées à la finalité spécifique du système. Deuxièmement, la représentativité : les ensembles doivent refléter adéquatement les personnes ou les groupes sur lesquels le système sera utilisé, y compris leurs propriétés statistiques.

Troisièmement, l'exactitude : les données doivent être exemptes d'erreurs dans la mesure du possible. Quatrièmement, la complétude : les données doivent être complètes pour la finalité poursuivie. Ces critères peuvent être satisfaits au niveau d'ensembles individuels ou par la combinaison de plusieurs ensembles de données. La gouvernance des données doit inclure des processus de collecte, de préparation, d'annotation et d'évaluation des biais.

La notion de représentativité statistique exige une attention particulière quant à la manière dont les populations cibles sont modélisées dans les ensembles de données. Il ne suffit pas de compter le nombre d'individus représentés, mais il est nécessaire d'analyser la distribution des caractéristiques pertinentes, telles que l'âge, le genre ou les conditions socio-économiques, selon la finalité du système. Cette analyse doit être documentée pour prouver que les ensembles de données reflètent fidèlement la diversité de la population sur laquelle le système sera utilisé. Les fournisseurs doivent être en mesure de démontrer que les propriétés statistiques des données sont adéquates par rapport aux utilisateurs finaux, ce qui implique des méthodes d'échantillonnage rigoureuses et des vérifications continues. Toute déviation significative entre la population réelle et la population représentée dans les données doit être identifiée et justifiée, avec des mesures correctives si nécessaire. Cette exigence vise à prévenir les discriminations algorithmiques et à garantir l'équité du système pour tous les groupes concernés.

L'exemption d'erreurs, qualifiée de « dans la mesure du possible », introduit une nuance importante dans l'interprétation des obligations légales. Cette formulation reconnaît que les données réelles sont souvent imparfaites et que l'élimination totale des erreurs peut être techniquement impossible ou économiquement disproportionnée. Cependant, cela ne dispense pas les fournisseurs de mettre en œuvre des processus robustes de nettoyage et de validation pour minimiser les erreurs. La documentation doit détailler les méthodes utilisées pour détecter et corriger les incohérences, ainsi que les limites résiduelles acceptées. Les fournisseurs doivent justifier pourquoi certaines erreurs persistent et démontrer qu'elles n'affectent pas significativement la performance ou la sécurité du système. Cette approche pragmatique permet de concilier les exigences de qualité avec les contraintes techniques réelles, tout en maintenant un niveau de fiabilité élevé. La transparence sur les erreurs résiduelles est essentielle pour permettre aux autorités de régulation d'évaluer le risque résiduel et la conformité globale du système.

Gouvernance et gestion des biais

L'article 10, paragraphe 2, exige des pratiques de gouvernance des données allant des options de conception à l'identification des lacunes. Il est obligatoire d'examiner les biais potentiels pouvant affecter la santé, la sécurité ou les droits fondamentaux, en particulier lorsque les résultats des données influencent les entrées pour des opérations futures.

Les fournisseurs doivent mettre en œuvre des mesures pour détecter, prévenir et atténuer ces biais. La documentation doit inclure des hypothèses sur ce que les données représentent et une évaluation de la disponibilité et de l'adéquation des ensembles. Cette gouvernance n'est pas optionnelle, mais une exigence légale contraignante pour la conformité du système.

L'examen des biais potentiels doit être intégré de manière proactive dans le cycle de développement du système, et non seulement comme une étape finale de validation. Les fournisseurs sont tenus d'identifier les sources possibles de biais dès la phase de conception, en tenant compte des options de design et de la finalité originale de la collecte des données. Cette approche préventive permet de détecter les biais structurels qui pourraient affecter la santé, la sécurité ou les droits fondamentaux, en particulier lorsque les résultats des données influencent les entrées pour des opérations futures. La documentation doit inclure des hypothèses explicites sur ce que les données représentent, afin de faciliter l'analyse critique des biais. Cette exigence de documentation des hypothèses vise à rendre le processus de gouvernance des données transparent et auditable, permettant aux parties prenantes de comprendre les limites et les suppositions sous-jacentes aux données utilisées. Elle renforce ainsi la responsabilité des fournisseurs dans la gestion des risques liés aux biais.

La mise en œuvre de mesures pour détecter, prévenir et atténuer les biais est une obligation légale contraignante qui ne peut être déléguée ou ignorée. Ces mesures doivent être proportionnées au niveau de risque du système et adaptées à la nature des données utilisées. Les fournisseurs doivent documenter les actions entreprises, y compris les outils et méthodes utilisés pour la détection des biais, ainsi que les résultats obtenus. La documentation doit également inclure une évaluation de la disponibilité et de l'adéquation des ensembles de données, afin de justifier les choix effectués. Cette gouvernance des données est un élément clé de la conformité du système, car elle démontre la capacité du fournisseur à gérer les risques associés à la qualité des données. L'absence de mesures efficaces pour atténuer les biais peut être considérée comme une non-conformité majeure, affectant la capacité du système à être mis sur le marché. Cette exigence souligne l'importance d'une approche continue et itérative de la gestion des biais, plutôt qu'une vérification ponctuelle.

Exceptions pour les données sensibles

Le paragraphe 5 permet le traitement exceptionnel de catégories spéciales de données personnelles (données sensibles) uniquement si c'est strictement nécessaire pour détecter et corriger les biais. Cette exception est soumise à des conditions strictes pour protéger les droits et libertés fondamentaux.

Parmi les conditions figurent l'impossibilité d'atteindre l'objectif par des données synthétiques ou anonymisées, l'application de mesures de sécurité de dernière génération (comme la pseudonymisation) et l'interdiction de transmettre ces données à d'autres parties. Les données doivent être supprimées une fois le biais corrigé ou la période de conservation terminée, selon le premier des deux événements.

L'exception permettant le traitement de catégories spéciales de données personnelles est strictement encadrée pour protéger les droits et libertés fondamentaux des individus. Cette exception ne peut être invoquée que si le traitement est strictement nécessaire pour détecter et corriger les biais, et si aucun moyen alternatif, tel que l'utilisation de données synthétiques ou anonymisées, ne permet d'atteindre cet objectif. Cette condition de nécessité absolue impose aux fournisseurs de démontrer qu'ils ont exploré toutes les options disponibles avant de recourir à des données sensibles. La documentation doit détailler les raisons pour lesquelles les données alternatives étaient insuffisantes, ainsi que les mesures de sécurité mises en place pour protéger les données sensibles. Cette approche prudente vise à minimiser l'exposition des données personnelles sensibles et à garantir que leur utilisation est justifiée par un intérêt légitime et proportionné. Les fournisseurs doivent être en mesure de prouver que l'objectif de correction des biais ne pouvait pas être atteint par d'autres moyens, renforçant ainsi la légitimité de leur action.

Les mesures de sécurité de dernière génération, telles que la pseudonymisation, sont obligatoires pour protéger les données sensibles utilisées dans le cadre de cette exception. La pseudonymisation permet de dissocier les données des identifiants directs, réduisant ainsi le risque de ré-identification des individus. Les fournisseurs doivent également s'assurer que ces données ne sont pas transmises à d'autres parties, limitant ainsi la diffusion des informations sensibles. La suppression des données est obligatoire une fois le biais corrigé ou la période de conservation terminée, selon le premier des deux événements. Cette exigence de suppression vise à garantir que les données sensibles ne sont conservées que le temps strictement nécessaire pour atteindre l'objectif de correction des biais. La documentation doit inclure les procédures de suppression et les preuves de leur exécution, afin de démontrer la conformité aux exigences de protection des données. Cette approche rigoureuse renforce la confiance des utilisateurs et des autorités de régulation dans la gestion des données sensibles par les fournisseurs de systèmes d'IA à haut risque.

Documentation et lien avec l'article 9

La documentation de la curation des données est une exigence clé. Il doit être enregistré les informations sur les processus de collecte, les décisions d'exclusion et l'évaluation de la qualité. Cette documentation n'est pas une fin en soi, mais un outil pour démontrer la conformité auprès des autorités de régulation.

La documentation des données doit être liée au système de gestion des risques de l'article 9. Les biais identifiés dans les données sont des risques qui doivent être gérés dans le cycle de vie du système. La traçabilité permet d'auditer la manière dont les risques associés à la qualité des données ont été atténués.

La documentation de la curation des données joue un rôle central dans la démonstration de la conformité auprès des autorités de régulation. Elle doit inclure des informations détaillées sur les processus de collecte, les décisions d'exclusion et l'évaluation de la qualité des données. Cette documentation n'est pas une simple formalité administrative, mais un outil essentiel pour prouver la rigueur et la transparence du processus de développement du système. Les fournisseurs doivent être en mesure de fournir des preuves concrètes de la manière dont les critères de qualité ont été appliqués, y compris les méthodes utilisées pour la validation de la représentativité et l'évaluation des biais. La documentation doit être structurée de manière à faciliter l'audit par les autorités, permettant une vérification rapide et efficace de la conformité. Elle doit également être mise à jour régulièrement pour refléter les évolutions du système et des données, garantissant ainsi une traçabilité continue. Cette exigence de documentation renforce la responsabilité des fournisseurs et contribue à la confiance dans les systèmes d'IA à haut risque.

La liaison entre la documentation des données et le système de gestion des risques de l'article 9 est essentielle pour une approche intégrée de la conformité. Les biais identifiés dans les données sont considérés comme des risques qui doivent être gérés dans le cycle de vie du système. Cette intégration permet de s'assurer que les risques associés à la qualité des données sont pris en compte dans l'évaluation globale des risques du système. La traçabilité des mesures d'atténuation des biais permet d'auditer la manière dont les risques ont été gérés et de vérifier leur efficacité. Cette approche systémique renforce la robustesse du système et réduit les risques de non-conformité. Les fournisseurs doivent documenter les liens entre les biais identifiés et les mesures de mitigation mises en place, afin de démontrer la cohérence de leur approche de gestion des risques. Cette intégration entre les articles 9 et 10 souligne l'importance d'une vision globale de la conformité, où la qualité des données est un élément clé de la gestion des risques.

Checklist de conformité et sanctions

Pour démontrer la conformité, les fournisseurs doivent maintenir une checklist opérationnelle vérifiant chaque critère de l'article 10. Cela inclut la validation de la représentativité, la documentation des mesures d'atténuation des biais et la justification de l'utilisation de données sensibles le cas échéant.

Le non-respect des exigences de l'AI Act peut entraîner des sanctions significatives. Bien que l'article 10 ne spécifie pas d'amendes directes, son non-respect affecte la conformité générale du système à haut risque, ce qui peut entraîner des sanctions au titre de l'article 99, qui prévoit des amendes allant jusqu'à 35 millions d'euros ou 7 % du volume d'affaires mondial annuel pour les infractions les plus graves.

La checklist de conformité opérationnelle est un outil indispensable pour les fournisseurs afin de démontrer leur respect des exigences de l'article 10. Elle doit couvrir chaque critère de qualité, y compris la validation de la représentativité, la documentation des mesures d'atténuation des biais et la justification de l'utilisation de données sensibles le cas échéant. Cette checklist doit être mise à jour régulièrement pour refléter les évolutions du système et des données, garantissant ainsi une conformité continue. Les fournisseurs doivent être en mesure de fournir des preuves documentaires pour chaque point de la checklist, démontrant la rigueur de leur processus de développement. Cette approche structurée facilite l'audit par les autorités de régulation et réduit les risques de non-conformité. La checklist doit également inclure des références aux documents de gouvernance des données et au système de gestion des risques, permettant une vérification croisée des informations. Cette intégration renforce la cohérence de la documentation et facilite la démonstration de la conformité globale du système.

Les sanctions pour non-respect des exigences de l'AI Act peuvent être significatives, affectant la conformité générale du système à haut risque. Bien que l'article 10 ne spécifie pas d'amendes directes, son non-respect peut entraîner des sanctions au titre de l'article 99, qui prévoit des amendes allant jusqu'à 35 millions d'euros ou 7 % du volume d'affaires mondial annuel pour les infractions les plus graves. Cette menace de sanctions souligne l'importance de la conformité aux exigences de qualité des données. Les fournisseurs doivent être conscients des risques financiers et réputationnels associés à une non-conformité, et mettre en place des processus robustes pour éviter ces risques. La documentation rigoureuse et la gouvernance des données efficaces sont des moyens essentiels pour démontrer la bonne foi et la diligence des fournisseurs. Cette approche préventive permet de réduire les risques de sanctions et de maintenir la confiance des utilisateurs et des autorités de régulation. La conformité à l'article 10 est donc un élément clé de la stratégie de gestion des risques des fournisseurs de systèmes d'IA à haut risque.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.