Come scegliere uno strumento RAG in base ai documenti e al rischio di errore

Prima domanda: ti serve cercare o generare una risposta?

Prima di confrontare gli strumenti, definisci che cosa deve fare il sistema. La ricerca per parole chiave individua corrispondenze letterali; la ricerca semantica cerca passaggi correlati per significato; un sistema di generazione aumentata dal recupero (RAG) aggiunge i risultati recuperati al contesto di un modello linguistico, che li usa per formulare una risposta. Sono capacità diverse, anche se un prodotto può combinarle.

Un motore di ricerca tradizionale può bastare se le persone sanno quale termine, titolo o identificativo cercare e devono aprire il documento originale. La ricerca semantica è utile quando la domanda e il documento esprimono un concetto simile con parole diverse. RAG è adatto quando occorre sintetizzare più passaggi in una risposta conversazionale, con strumenti per consultare le fonti. Non rende automaticamente vere le informazioni recuperate e una risposta ben formulata non diventa una prova solo perché è convincente.

Criterio 1: la forma del documento determina la preparazione

Il formato del file non è un dettaglio di acquisizione: determina quale testo e quale struttura arrivano alla ricerca. Un documento di testo semplice è spesso più facile da indicizzare rispetto a un PDF scansionato, a un foglio di calcolo con celle unite o a un rapporto in cui titoli, note e tabelle dipendono gli uni dagli altri. Per le immagini delle pagine può servire l’OCR. Per tabelle, colonne e intestazioni occorre un’estrazione che conservi le relazioni tra i dati.

Anche il chunking — la suddivisione dei documenti in segmenti recuperabili — deve rispettare il contenuto. Se una tabella viene spezzata tra le righe o una cifra viene separata dalla sua intestazione, il segmento può sembrare pertinente e risultare comunque ambiguo. Nei testi lunghi conviene provare suddivisioni basate su sezioni o unità semantiche, conservare i metadati e controllare esempi reali dei segmenti indicizzati. Non esiste una dimensione ottimale valida per tutti: dipende dalle domande, dal contenuto e dal modello che riceve il contesto.

Criterio 2: aggiornamento, permessi e tracciabilità

Se i documenti cambiano spesso, l’aggiornamento dell’indice è parte integrante del progetto. L’acquisizione deve prevedere come rilevare aggiunte e modifiche, recepire le versioni vigenti e rimuovere contenuti che non dovrebbero più comparire nei risultati. Misura quanto tempo impiega una modifica a diventare disponibile nelle ricerche: una promessa di aggiornamento non equivale a una verifica del tuo flusso di dati.

Per una domanda sensibile, lo strumento deve mantenere un collegamento verificabile tra ogni risposta e le sue fonti: identificativo del documento, versione o data, sezione o pagina e segmento utilizzato, secondo le informazioni presenti nel corpus. Deve anche permettere di ricostruire che cosa è stato recuperato per una domanda e applicare i permessi prima che i contenuti arrivino al modello. Una citazione visibile può aiutare la verifica, ma non dimostra da sola che l’affermazione sia supportata o che la fonte sia autorevole.

Il Regolamento europeo sull’intelligenza artificiale non trasforma ogni sistema RAG in un sistema ad alto rischio e non stabilisce un’unica specifica di citazione per ogni strumento. La classificazione dipende dall’uso e dalle condizioni applicabili. Se il sistema rientra in un caso d’uso regolamentato o influenza decisioni sensibili, occorre individuare gli obblighi pertinenti con il supporto di competenze specialistiche e definire di conseguenza registri, supervisione e controllo degli accessi. Le fonti qui disponibili non bastano a descrivere tutti i requisiti giuridici per ogni settore o sistema.

Criterio 3: qualità del recupero, latenza e costi

Non esiste una sola metrica che convalidi un sistema RAG completo. Nel recupero, il recall misura se sono stati trovati i passaggi pertinenti attesi; la precisione misura quale proporzione dei risultati recuperati è pertinente. MRR valuta la posizione del primo risultato pertinente; NDCG considera qualità e ordinamento di più risultati. Sono metriche utili per confrontare i sistemi di recupero su un insieme di domande con risposte o passaggi attesi, ma non dimostrano che la risposta generata sia vera, completa o corretta sul piano giuridico.

Valuta separatamente la fedeltà della risposta al contesto, la copertura delle informazioni necessarie e la correttezza delle citazioni. Includi casi in cui la risposta corretta è astenersi, per esempio quando non ci sono documenti sufficienti, le fonti sono in conflitto o i permessi non consentono l’accesso. Le metriche automatiche possono aiutare a esaminare molte esecuzioni, ma è opportuno confrontarle con valutazioni umane su domande rappresentative, soprattutto quando gli errori possono avere conseguenze rilevanti.

Misura la latenza end-to-end e suddividila per fase: ricerca, re-ranking — il riordino dei candidati in base alla loro utilità —, chiamate al modello e altri passaggi. Più fasi di recupero possono aumentare tempi e costi; non vanno aggiunte senza verificare che migliorino la qualità per il problema concreto. Anche il costo per domanda dipende dalla lunghezza del contesto, dal numero di chiamate, dal volume elaborato e dall’infrastruttura. Le fonti disponibili non stabiliscono limiti universali per la dimensione dei documenti o la complessità delle tabelle negli strumenti commerciali: tali limiti dipendono dal prodotto, dalla configurazione e dalla data.

Tre scenari e quale strumento provare per primo

Documenti non strutturati: dai priorità alla capacità di estrarre i contenuti prima di confrontare i modelli. Prova l’OCR per le pagine scansionate, un parsing che conservi le tabelle e un chunking che rispetti le sezioni. Se le domande contengono nomi, codici o riferimenti esatti oltre a concetti, confronta la ricerca lessicale e quella semantica, includendo un approccio ibrido. Il re-ranking può servire se l’insieme iniziale contiene passaggi pertinenti ma li ordina male; non può recuperare informazioni perse durante l’estrazione.

Aggiornamenti frequenti: definisci gli obiettivi di aggiornamento e verifica l’intero ciclo di aggiornamento, sostituzione e cancellazione. Conserva date e versioni come metadati recuperabili. Se una risposta dipende da più fonti o richiede di scomporre la domanda, una strategia iterativa può essere utile, ma aggiunge passaggi. Inizia con il recupero standard se basta una ricerca in un singolo indice; in seguito confronta i miglioramenti con l’aumento di latenza e costi.

Tracciabilità legale o scientifica: richiedi fonti consultabili, registri utili per una revisione successiva, controlli dei permessi e criteri di astensione. La generazione non sostituisce l’interpretazione degli esperti e non verifica l’autorevolezza o l’attualità di un documento. Per affermazioni ad alto impatto, controlla le citazioni e il contesto originale; registra le correzioni e valuta se il sistema debba limitarsi a individuare prove invece di formulare conclusioni.

Limiti: rilevanza non significa veridicità

Un sistema di recupero ordina i candidati in base a segnali di corrispondenza o rilevanza; non certifica che un documento sia corretto, ufficiale, aggiornato o applicabile. Una risposta può citare un passaggio pertinente e tuttavia generalizzarlo, omettere una condizione, mescolare versioni o interpretare male una tabella. Il sistema può anche non trovare la fonte decisiva e produrre una risposta fluida basata su informazioni incomplete. Perciò la presenza di una citazione non equivale a una verifica dei fatti.

Le misure di protezione devono corrispondere al tipo di rischio: applicare i permessi durante il recupero, conservare provenienza e versione, confrontare le affermazioni con i passaggi, rilevare i conflitti, testare domande senza risposta sufficiente e consentire l’astensione. Nei contesti ad alto impatto, integra una revisione umana e definisci le responsabilità. La supervisione deve includere campioni di domande ed errori reali dopo il rilascio, non limitarsi alla valutazione iniziale.

RAG non decide quali fonti siano autorevoli e non risolve da sola le contraddizioni tra documenti. Queste decisioni richiedono regole di governance — per esempio, priorità basate sullo stato, sulla data o sul responsabile — e, nei casi sensibili, valutazione umana. Se una ricerca documentale senza generazione soddisfa l’esigenza, può essere un’opzione più semplice e facile da verificare. Lo strumento giusto è quello che risolve il compito entro limiti misurati, non quello che include più componenti.

Criteri pratici per decidere

Inizia descrivendo domande reali e conseguenze di una risposta errata. Se il compito consiste nel trovare documenti, prova prima la ricerca per parole chiave o semantica. Se serve sintetizzare passaggi, confronta RAG con una baseline di ricerca e valuta separatamente recupero e generazione. Se i documenti sono difficili da leggere automaticamente, risolvi prima i problemi di OCR o parsing: un modello generativo non può ricostruire in modo affidabile ciò che non è mai arrivato nel suo contesto.

Per confrontare i fornitori, chiedi test sul tuo corpus o su un campione rappresentativo e verifica i limiti specifici nella documentazione aggiornata del prodotto che intendi acquistare. Controlla formati supportati, dimensioni massime, trattamento delle tabelle, aggiornamenti, permessi, esportazione dei registri e costi previsti con il volume di domande atteso. Non estendere un dato ottenuto con una configurazione o un fornitore a tutti i sistemi.

La decisione finale può essere graduale: prima un motore di ricerca, poi la ricerca ibrida se convivono termini esatti e semantici, il re-ranking se migliora l’ordine dei risultati e RAG se la sintesi porta un valore misurabile. Aggiungi il recupero iterativo solo quando le domande richiedono davvero più passaggi. Prima del rilascio, definisci criteri di approvazione, responsabili dei dati, regole di revisione e una procedura per ritirare o correggere risposte problematiche.

Continua a esplorare

Correzioni e trasparenza

Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.