Comment vérifier les affirmations d’une IA : un protocole pour décider quoi conserver, corriger ou retirer

Une réponse convaincante n’est pas encore une réponse étayée

Une réponse générée par l’IA peut sembler précise tout en comportant une date erronée, en exagérant les propos d’une source ou en attribuant une information à un document qui ne l’étaye pas. Pour examiner ce type de réponse avec rigueur, il est utile de distinguer trois questions : l’affirmation est-elle vraie ? La source citée existe-t-elle et est-elle pertinente ? Le passage cité étaye-t-il exactement ce qui est affirmé ? Ces vérifications sont liées, mais elles ne sont pas équivalentes.

Une citation peut être authentique et renvoyer à une source respectable sans prouver l’affirmation précise qui lui est associée. Le document peut porter sur une autre période, une autre population, un autre lieu ou un autre indicateur. Il peut aussi présenter une conclusion assortie de réserves que la réponse de l’IA omet. Vérifier que le lien fonctionne n’est donc qu’un début : il faut retrouver le passage et le comparer à la formulation complète de l’affirmation.

L’IA peut aider à repérer des sources potentielles, à séparer les idées et à résumer de longs documents. La décision éditoriale doit toutefois s’appuyer sur la source sous-jacente et sur la lecture du passage pertinent, et non sur l’assurance du modèle ou son résumé. Les lignes directrices européennes sur une IA digne de confiance font de la transparence, de la traçabilité, de la supervision humaine et de l’auditabilité des principes généraux ; elles ne prescrivent pas de méthode précise pour valider des citations. Ce guide propose un protocole opérationnel, sans prétendre qu’il s’agit d’une norme certifiée.

Délimitez ce que vous allez vérifier et le niveau d’effort nécessaire

Commencez par décomposer la réponse en affirmations qui peuvent être évaluées séparément. « La proposition est intéressante » exprime un jugement ; « le forfait comprend cinq comptes » est vérifiable. Les dates, les quantités, les noms, les exigences, les attributions, les citations, les liens de causalité et les descriptions de fonctionnalités peuvent souvent être contrôlés. Une phrase composée peut contenir plusieurs éléments : « L’étude de 2024 a interrogé 2 000 personnes et prouve que le programme a amélioré la productivité » exige de vérifier séparément la date, la taille de l’échantillon et la conclusion causale.

Il n’est pas nécessaire de consacrer le même temps à chaque élément. Donnez la priorité à ce qui sous-tend la conclusion, à ce qui pourrait causer un préjudice en cas d’erreur et à ce qui est précis ou susceptible de changer. Un chiffre utilisé pour justifier une décision, une interprétation juridique ou une information sensible sur des personnes mérite un examen plus approfondi qu’un détail contextuel secondaire. Cette hiérarchisation est une règle de travail pratique, et non une échelle validée par les sources disponibles.

Avant de lancer vos recherches, définissez les éléments qui permettraient de trancher : quel document ferait autorité, quel passage devrait s’y trouver et quelles conditions — date, territoire, population, version ou définition — pourraient modifier le résultat. Ce critère préalable évite de rechercher uniquement des confirmations et aide à reconnaître les cas où une source ne suffit pas.

Protocole pour chaque affirmation : de la source au verdict

Copiez l’affirmation telle qu’elle apparaît et attribuez-lui un identifiant. Cherchez ensuite la source qui donne un accès direct à l’information : rapport original, base de données officielle, texte réglementaire applicable, documentation du produit ou registre primaire pertinent. Une page qui cite une étude peut aider à orienter la recherche, mais ne remplace pas automatiquement l’étude. Si la source originale est indisponible, consignez cette limite au lieu de considérer son contenu comme vérifié.

Ouvrez le document et repérez la section, le tableau ou le passage exact. Vérifiez si le contenu étaye l’affirmation dans son ensemble ou seulement une partie. Examinez les conditions, les définitions, les exceptions et le périmètre : une association ne démontre pas nécessairement une causalité ; un résultat concernant un sous-groupe ne décrit pas automatiquement toute la population ; un chiffre portant sur une année ne doit pas être présenté comme actuel sans vérification. Conservez suffisamment de contexte pour qu’une autre personne puisse refaire la lecture.

Consignez également la date de consultation et les informations susceptibles d’évoluer. Si deux pages renvoient à la même étude originale, ne les comptez pas comme des corroborations indépendantes : ce sont deux chemins vers le même élément de preuve. Si des sources divergent, cherchez si leurs différences s’expliquent par la date, la méthode, la définition ou la population. Si les éléments disponibles ne permettent pas de trancher, conservez l’incertitude ou abstenez-vous d’utiliser l’affirmation comme fondement d’une décision.

Classez les résultats sans transformer le doute en fausseté

Une échelle utile pour le travail éditorial distingue les affirmations directement étayées, partiellement étayées, contredites, appuyées par une source insuffisante ou non vérifiables. « Directement étayée » signifie que les éléments consultés soutiennent l’affirmation dans son périmètre et sous les conditions applicables. « Partiellement étayée » signifie qu’ils n’en soutiennent qu’une partie, ou que la formulation omet une réserve importante. Pour qualifier une affirmation de « contredite », il faut des éléments contraires pertinents dans les conditions considérées ; le simple fait que la personne chargée de la vérification n’ait pas trouvé de confirmation ne suffit pas.

« Source insuffisante » décrit un problème avec les éléments disponibles : par exemple, une page qui mentionne le sujet sans présenter de données permettant d’étayer la conclusion. « Non vérifiable » peut convenir lorsque la proposition est trop vague, ne précise pas de période ou ne peut pas raisonnablement être contrôlée. Aucune de ces catégories ne prouve automatiquement que l’affirmation est fausse. Distinguez l’état des éléments de preuve du jugement porté sur la véracité.

La décision doit correspondre au résultat. Conservez une affirmation directement étayée ; corrigez ou nuancez une affirmation partiellement étayée ; supprimez ou présentez avec prudence une affirmation contredite ; cherchez une autre source ou expliquez la limite lorsque les éléments sont insuffisants ; abstenez-vous de présenter comme un fait ce qui ne peut pas être vérifié. Pour les usages à fort enjeu, confiez l’examen à une personne possédant les compétences pertinentes.

Modèle d’audit pour permettre à une autre personne de refaire la vérification

Un examen est reproductible si une autre personne peut retrouver l’affirmation, accéder à la source et comprendre la décision prise. Conservez la formulation d’origine ainsi que sa version corrigée afin de garder une trace des modifications. Notez le titre ou l’identifiant de la source, son emplacement dans le document — section ou tableau, par exemple —, sa date de publication ou de mise à jour lorsqu’elle est indiquée, ainsi que la date de consultation.

Ajoutez le passage pertinent, ou une indication précise de l’endroit où le trouver, ainsi que l’évaluation des éléments de preuve et les limites observées. Une simple liste de liens ne suffit pas : si le lien mène à une longue page, une autre personne doit savoir quelle partie a été utilisée et comment elle a été interprétée. Pour un contenu sensible, consignez qui a vérifié et qui a approuvé son utilisation, conformément aux procédures de votre équipe.

La traçabilité facilite l’examen des modifications et la correction des erreurs, mais ne garantit pas que l’interprétation initiale soit juste. Si une source change, si une ancienne version n’est plus disponible ou si l’évaluation repose sur une traduction, consignez-le et évitez de présenter le registre comme une certitude absolue.

Testez le protocole sur des cas connus et examinez ses limites

Avant d’appliquer le processus à des décisions réelles, mettez-le à l’épreuve sur un petit ensemble de réponses dont l’équipe connaît déjà les sources et les problèmes. Incluez des citations inexistantes, des citations authentiques qui n’étayent pas la conclusion, des affirmations partiellement exactes, des informations obsolètes et des cas où les éléments sont insuffisants. L’objectif n’est pas de démontrer que le modèle est fiable en général, mais de vérifier que la procédure repère des erreurs précises et produit un compte rendu compréhensible.

Comptabilisez séparément les problèmes d’étayage — la source existe, mais ne soutient pas ce qui lui est attribué —, les citations défectueuses, les corrections et les abstentions. Vérifiez également si plusieurs personnes aboutissent à des classements comparables en utilisant les mêmes consignes et les mêmes documents. Le taux de réussite obtenu sur un petit ensemble peut aider à améliorer le processus ; il ne permet ni de promettre une qualité générale du modèle ni de transposer les résultats à d’autres sujets, langues ou niveaux de risque.

Un modèle ne fait pas disparaître toutes les limites. Certaines sources sont inaccessibles ou incomplètes ; les affirmations composées nécessitent plusieurs vérifications ; les sources peuvent diverger en raison de définitions ou de dates différentes ; et une personne chargée de la vérification peut accorder trop de confiance à une citation sans la lire. Les recommandations pédagogiques du CIAEM préconisent de recouper les informations et de vérifier l’existence et la correspondance des références, mais elles ne valident pas à elles seules, sur le plan technique, le protocole proposé ici. Si les éléments ne permettent pas de trancher, la réponse responsable consiste à préciser ce qui manque, à demander un examen complémentaire ou à s’abstenir.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.