Comment choisir un outil RAG selon vos documents et le risque d’erreur

D’abord, faut-il rechercher ou générer une réponse ?

Avant de comparer les outils, précisez ce que le système doit faire. La recherche par mots-clés trouve des correspondances littérales ; la recherche sémantique tente de retrouver des passages liés par leur sens ; un système de génération augmentée par récupération (RAG) ajoute les résultats retrouvés au contexte d’un modèle de langage afin qu’il formule une réponse. Il s’agit de capacités distinctes, même si un même produit peut les combiner.

Un moteur de recherche classique peut suffire lorsque les utilisateurs savent quel terme, titre ou identifiant rechercher et veulent consulter le document d’origine. La recherche sémantique est utile lorsque la requête et le document expriment une idée similaire avec des mots différents. Le RAG est pertinent s’il faut synthétiser plusieurs passages sous la forme d’une réponse conversationnelle, avec des moyens de consulter les sources. Il ne rend pas automatiquement vraies les informations retrouvées et ne transforme pas une réponse bien rédigée en preuve.

Critère 1 : la forme du document détermine sa préparation

Le format de fichier n’est pas un simple détail d’ingestion : il conditionne le texte et la structure accessibles à la recherche. Un document en texte brut est généralement plus facile à indexer qu’un PDF numérisé, un tableur contenant des cellules fusionnées ou un rapport où titres, notes et tableaux sont interdépendants. Les pages sous forme d’images peuvent nécessiter de la reconnaissance optique de caractères (OCR). Pour les tableaux, les colonnes et les en-têtes, il faut une extraction qui préserve les liens entre les données.

Le chunking — le découpage des documents en fragments récupérables — doit lui aussi respecter le contenu. Si un tableau est coupé entre deux lignes ou si un chiffre est séparé de son en-tête, le fragment peut sembler pertinent tout en restant ambigu. Dans les textes longs, testez des limites fondées sur les sections ou les unités sémantiques, conservez les métadonnées et examinez des exemples réels des fragments indexés. Il n’existe pas de taille optimale universelle : elle dépend du type de requête, du contenu et du modèle qui reçoit le contexte.

Critère 2 : actualité, autorisations et traçabilité

Si les documents changent souvent, l’actualisation de l’index fait partie intégrante de la conception. Le processus d’ingestion doit détecter les ajouts et les modifications, prendre en compte les versions en vigueur et retirer le contenu qui ne doit plus apparaître dans les résultats. Mesurez le délai nécessaire pour qu’une modification soit consultable : annoncer une actualisation ne revient pas à la tester dans votre flux de données.

Pour une requête sensible, l’outil doit maintenir un lien vérifiable entre chaque réponse et ses sources : identifiant du document, version ou date, section ou page et fragment utilisé, selon les possibilités du corpus. Il doit également permettre de reconstituer les éléments récupérés pour une requête et appliquer les autorisations avant que le contenu parvienne au modèle. Une citation visible facilite la vérification, mais ne prouve pas à elle seule que l’affirmation est étayée ni que la source fait autorité.

Le règlement européen sur l’IA ne classe pas automatiquement chaque système RAG parmi les systèmes à haut risque et ne définit pas une spécification de citation unique applicable à tous les outils. La classification dépend de l’usage et des conditions applicables. Si le système s’inscrit dans un cas d’utilisation réglementé ou influence des décisions sensibles, identifiez les obligations pertinentes avec un conseil spécialisé et prévoyez en conséquence des journaux, une supervision et des contrôles d’accès. Les sources disponibles ici ne suffisent pas à détailler toutes les exigences juridiques applicables à chaque secteur ou système.

Critère 3 : qualité de la récupération, latence et coût

Aucune métrique ne suffit à valider un système RAG dans son ensemble. Pour la récupération, le rappel indique si les passages pertinents attendus ont été trouvés ; la précision mesure la proportion de résultats récupérés qui sont pertinents. Le MRR évalue la position du premier résultat pertinent ; le NDCG tient compte de la qualité et de l’ordre de plusieurs résultats. Ces métriques sont utiles pour comparer des moteurs de recherche sur un ensemble de requêtes associé à des réponses ou à des passages attendus, mais elles ne prouvent pas que la réponse générée est vraie, complète ou juridiquement correcte.

Évaluez séparément la fidélité de la réponse au contexte, la couverture des informations nécessaires et l’exactitude des citations. Prévoyez des exemples où la bonne réponse consiste à s’abstenir, notamment lorsque les documents sont insuffisants, que les sources se contredisent ou que les autorisations manquent. Des métriques automatiques peuvent aider à examiner de nombreuses exécutions, mais confrontez-les à des évaluations humaines sur des requêtes représentatives, surtout lorsque les erreurs ont des conséquences importantes.

Mesurez la latence de bout en bout et détaillez-la : recherche, re-ranking — le reclassement des résultats candidats selon leur utilité —, appels au modèle et autres étapes. Ajouter des étapes de récupération peut accroître le temps et le coût ; ne le faites pas sans vérifier que cela améliore les résultats pour le problème réel. Le coût par requête dépend également de la longueur du contexte, du nombre d’appels, du volume traité et de l’infrastructure. Les sources disponibles ne fixent pas de limites universelles concernant la taille des documents ou la complexité des tableaux dans les outils commerciaux : ces limites varient selon le produit, la configuration et la date.

Trois scénarios et l’outil à tester en premier

Documents non structurés : donnez la priorité à la capacité d’extraire le contenu avant de comparer les modèles. Testez l’OCR pour les pages numérisées, une analyse qui préserve les tableaux et un chunking qui respecte les sections. Si les requêtes contiennent à la fois des noms, codes ou références exactes et des concepts, comparez recherche lexicale et recherche sémantique, y compris une combinaison hybride. Le re-ranking peut être utile si le premier ensemble de résultats contient des passages pertinents mais les classe mal ; il ne répare pas une extraction qui a perdu des informations.

Actualisations fréquentes : définissez les objectifs de fraîcheur et vérifiez tout le cycle d’actualisation, de remplacement et de suppression. Conservez les dates et les versions parmi les métadonnées récupérables. Si une réponse dépend de plusieurs sources ou nécessite de décomposer la requête, une stratégie itérative peut aider, mais elle ajoute des étapes. Commencez par une récupération standard si une recherche dans un seul index suffit ; mesurez ensuite l’amélioration au regard de l’augmentation de la latence et du coût.

Traçabilité juridique ou scientifique : exigez des sources localisables, des journaux utiles à une vérification ultérieure, des contrôles d’accès et des critères d’abstention. La génération ne remplace ni l’interprétation par des spécialistes ni la vérification de l’autorité ou de la validité d’un document. Pour les affirmations à fort impact, examinez les citations et le contexte d’origine ; consignez les corrections et vérifiez si le système devrait se limiter à retrouver des éléments de preuve plutôt qu’à formuler des conclusions.

Limites : pertinence ne signifie pas véracité

Un système de récupération classe des résultats candidats en fonction de signaux de correspondance ou de pertinence ; il ne certifie pas qu’un document est exact, officiel, à jour ou applicable. Une réponse peut citer un passage pertinent tout en le généralisant, en omettant une condition, en mélangeant des versions ou en interprétant mal un tableau. Elle peut aussi ne pas trouver la source décisive et produire une réponse fluide fondée sur des informations incomplètes. La présence d’une citation n’équivaut donc pas à une vérification factuelle.

Les protections doivent être adaptées au risque : filtrer les autorisations pendant la récupération, conserver la provenance et la version, vérifier les affirmations à partir des passages, détecter les contradictions, tester les questions sans réponse suffisamment étayée et permettre l’abstention. Dans les contextes à fort impact, prévoyez une révision humaine et définissez les responsabilités. La supervision doit inclure des échantillons de requêtes et des erreurs constatées après le déploiement, et ne pas se limiter à une évaluation initiale.

Le RAG ne détermine pas non plus quelles sources font autorité et ne résout pas à lui seul les contradictions entre documents. Ces décisions nécessitent des règles de gouvernance — par exemple, une priorité fondée sur le statut, la date ou le propriétaire — et, dans les cas sensibles, un jugement humain. Si une recherche documentaire sans génération répond au besoin, elle peut être plus simple et plus facile à auditer. L’outil approprié est celui qui accomplit la tâche dans des limites mesurées, pas celui qui comporte le plus de composants.

Critères pratiques pour décider

Commencez par décrire des requêtes réelles et les conséquences d’une réponse erronée. Si la tâche consiste à trouver des documents, testez d’abord la recherche par mots-clés ou sémantique. S’il faut synthétiser des passages, comparez le RAG à une référence fondée sur la recherche et évaluez séparément récupération et génération. Si les documents sont difficiles à lire par une machine, commencez par résoudre l’OCR ou l’analyse ; un modèle génératif ne reconstitue pas de manière fiable les informations qui ne sont jamais parvenues dans son contexte.

Pour comparer des fournisseurs, demandez des tests sur votre propre corpus ou sur un échantillon représentatif, puis vérifiez les limites précises dans la documentation à jour du produit envisagé. Contrôlez les formats pris en charge, les tailles maximales, le traitement des tableaux, l’actualisation, les autorisations, l’export des journaux et les coûts selon la charge de requêtes prévue. N’extrapolez pas le chiffre d’une configuration ou d’un fournisseur à tous les systèmes.

La décision finale peut être progressive : commencez par un moteur de recherche, ajoutez une recherche hybride si termes exacts et recherche sémantique coexistent, puis un re-ranking s’il améliore l’ordre des résultats, et enfin du RAG si la synthèse apporte une valeur mesurable. N’ajoutez une récupération itérative que lorsque les requêtes nécessitent réellement plusieurs étapes. Avant le déploiement, définissez des critères d’approbation, les responsables des données, les règles de révision et une procédure de retrait ou de correction des réponses problématiques.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.