Cómo elegir una herramienta RAG según tus documentos y el riesgo de error

Primero: ¿necesitas buscar o generar una respuesta?

Antes de comparar herramientas, concreta qué debe hacer el sistema. La búsqueda por palabras clave encuentra coincidencias literales; la búsqueda semántica intenta recuperar pasajes relacionados por significado; un sistema de generación aumentada por recuperación (RAG) añade los resultados recuperados al contexto de un modelo de lenguaje para que redacte una respuesta. Son capacidades distintas, aunque un producto pueda combinarlas.

Un buscador convencional puede bastar si las personas saben qué término, título o identificador buscar y necesitan abrir el documento original. La búsqueda semántica resulta útil cuando la consulta y el documento usan palabras diferentes para expresar una idea parecida. RAG tiene sentido si se necesita sintetizar información de varios pasajes en una respuesta conversacional, con mecanismos para consultar las fuentes. No hace que la información recuperada sea automáticamente verdadera ni convierte una respuesta bien redactada en evidencia.

Criterio 1: la forma del documento determina la preparación

El formato de archivo no es un detalle de ingestión: condiciona qué texto y estructura llegan a la búsqueda. Un documento de texto plano suele ser más sencillo de indexar que un PDF escaneado, una hoja con celdas combinadas o un informe donde títulos, notas y tablas dependen unos de otros. Para imágenes de páginas puede hacer falta OCR. Para tablas, columnas y encabezados, hace falta una extracción que preserve las relaciones entre los datos.

El chunking —la división de documentos en fragmentos recuperables— también debe respetar el contenido. Si se corta una tabla entre filas o se separa una cifra de su encabezado, el fragmento puede parecer pertinente y, aun así, ser ambiguo. En textos extensos conviene probar límites basados en secciones o unidades semánticas, conservar metadatos y revisar ejemplos reales de fragmentos indexados. No hay un tamaño universal óptimo: depende del tipo de consulta, del contenido y del modelo que recibe el contexto.

Criterio 2: actualidad, permisos y trazabilidad

Si los documentos cambian con frecuencia, la actualización del índice forma parte del diseño. La ingesta necesita una política para detectar altas y cambios, reflejar versiones vigentes y retirar contenido que ya no debe aparecer en resultados. Mide cuánto tarda un cambio en estar disponible mediante consultas: una promesa de actualización no equivale a una prueba en tu flujo de datos.

Para una consulta sensible, la herramienta debe conservar un vínculo verificable entre cada respuesta y sus fuentes: identificador del documento, versión o fecha, sección o página y fragmento utilizado, según lo que el corpus permita. También debe permitir reconstruir qué se recuperó en una consulta y aplicar los permisos antes de que el contenido llegue al modelo. Una cita visible puede ayudar a revisar, pero no demuestra por sí sola que la afirmación esté respaldada ni que la fuente sea la autoridad adecuada.

El Reglamento de IA de la Unión Europea no convierte a todo sistema RAG en un sistema de alto riesgo ni establece una única especificación de citación para cualquier herramienta. La clasificación depende del uso y de las condiciones aplicables. Si el sistema forma parte de un caso de uso regulado o influye en decisiones sensibles, hay que identificar las obligaciones pertinentes con asesoramiento especializado y diseñar registros, supervisión y control de acceso en consecuencia. Las fuentes aquí disponibles no bastan para detallar todos los requisitos jurídicos por sector o sistema.

Criterio 3: calidad de recuperación, latencia y coste

No hay una única métrica que valide un sistema RAG completo. En recuperación, recall mide si se encontraron los pasajes relevantes esperados; precisión mide qué proporción de los resultados recuperados es pertinente. MRR valora la posición del primer resultado relevante; NDCG considera la calidad y el orden de varios resultados. Son métricas útiles para comparar recuperadores sobre un conjunto de consultas con respuestas o pasajes esperados, pero no prueban que la respuesta generada sea verdadera, completa o jurídicamente correcta.

Evalúa por separado la fidelidad de la respuesta al contexto, la cobertura de la información necesaria y la corrección de las citas. Define ejemplos donde la respuesta correcta sea abstenerse, incluidos casos sin documentos suficientes, con fuentes contradictorias o con permisos insuficientes. Las métricas automáticas pueden ayudar a revisar muchas ejecuciones, pero conviene contrastarlas con juicios humanos en consultas representativas, especialmente cuando los errores tienen consecuencias importantes.

Mide la latencia de extremo a extremo y desglósala: búsqueda, re-ranking —la reordenación de candidatos por utilidad—, llamadas al modelo y otras etapas. Más pasos de recuperación pueden aumentar el tiempo y el coste; no deben añadirse sin comprobar que mejoran la calidad para el problema real. El coste por consulta también depende de la longitud del contexto, del número de llamadas, del volumen procesado y de la infraestructura. Las fuentes disponibles no fijan límites universales de tamaño de documento o complejidad de tabla para herramientas comerciales: esos límites dependen del producto, la configuración y la fecha.

Tres escenarios y qué herramienta probar primero

Documentos no estructurados: prioriza la capacidad de extraer el contenido antes de comparar modelos. Prueba OCR cuando haya páginas escaneadas, parsing que preserve tablas y chunking que respete secciones. Si las consultas contienen nombres, códigos o referencias exactas además de conceptos, compara búsqueda léxica y semántica, incluida una combinación híbrida. Un re-ranking puede ser útil si el conjunto inicial contiene pasajes pertinentes, pero los ordena mal; no repara una extracción que perdió la información.

Actualización frecuente: define los objetivos de frescura y verifica el ciclo completo de actualización, sustitución y borrado. Conserva las fechas y versiones como metadatos recuperables. Si una respuesta depende de información de más de una fuente o exige descomponer la consulta, una estrategia iterativa puede ayudar, pero añade pasos. Empieza con recuperación estándar si una búsqueda en un índice basta; compara después la mejora con el aumento de latencia y coste.

Trazabilidad legal o científica: exige fuentes localizables, registros útiles para una revisión posterior, controles de permisos y criterios de abstención. La generación no sustituye la interpretación de especialistas ni valida la autoridad o vigencia de un documento. Para afirmaciones de alto impacto, revisa las citas y el contexto original; registra las correcciones y evalúa si el sistema debe limitarse a localizar evidencia en lugar de redactar conclusiones.

Límites: relevancia no significa veracidad

Un sistema de recuperación ordena candidatos según señales de coincidencia o relevancia; no certifica que un documento sea correcto, oficial, actual o aplicable. Una respuesta puede citar un fragmento pertinente y aun así generalizarlo, omitir una condición, mezclar versiones o interpretar mal una tabla. También puede no encontrar la fuente decisiva y producir una respuesta fluida apoyada en información incompleta. Por eso la presencia de una cita no equivale a una verificación factual.

Las defensas deben corresponder al tipo de riesgo: filtrar por permisos durante la recuperación, conservar procedencia y versión, contrastar afirmaciones con pasajes, detectar conflictos, probar preguntas sin respuesta suficiente y permitir abstención. En contextos de impacto elevado, incorpora revisión humana y responsabilidades definidas. La supervisión debe incluir muestras de consultas y fallos reales después del despliegue, no limitarse a una evaluación inicial.

RAG tampoco decide qué fuentes merecen autoridad ni resuelve por sí solo contradicciones entre documentos. Esas decisiones requieren reglas de gobierno —por ejemplo, prioridad por estado, fecha o propietario— y, en los casos sensibles, juicio humano. Si una búsqueda documental sin generación satisface la necesidad, puede ser una opción más sencilla y fácil de auditar. La herramienta adecuada es la que resuelve la tarea dentro de límites medidos, no la que incorpora más componentes.

Criterios prácticos para decidir

Empieza por describir consultas reales y la consecuencia de responder mal. Si la tarea es encontrar documentos, prueba primero búsqueda por palabras clave o semántica. Si hace falta sintetizar pasajes, compara RAG con una línea base de búsqueda y evalúa por separado recuperación y generación. Si los documentos son difíciles de leer por máquina, resuelve primero OCR o parsing; un modelo generativo no reconstruye de forma fiable lo que nunca llegó a su contexto.

Para comparar proveedores, solicita pruebas con tu propio corpus o una muestra representativa, y verifica límites concretos en la documentación vigente del producto que se vaya a contratar. Comprueba formatos admitidos, tamaños máximos, tratamiento de tablas, actualización, permisos, exportación de registros y costes bajo una carga de consultas prevista. No extrapoles una cifra de una configuración o proveedor a todos los sistemas.

La decisión final puede ser gradual: buscador primero, búsqueda híbrida si los términos exactos y semánticos conviven, re-ranking si mejora el orden de resultados y RAG si la síntesis aporta valor medible. Añade recuperación iterativa solo cuando las consultas realmente exijan varios pasos. Antes de desplegar, establece criterios de aprobación, propietarios de los datos, reglas de revisión y un procedimiento para retirar o corregir respuestas problemáticas.

Continúa explorando

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.