Definición en una frase
Tiempo transcurrido entre una solicitud y un hito de respuesta, como el primer token o la finalización completa.
Definición: un intervalo con dos hitos
La latencia es el tiempo transcurrido entre un evento inicial y un evento final que se han definido de antemano. Para interpretar una medida hay que saber cuáles son esos dos hitos: por ejemplo, cuándo se considera que empieza una solicitud y cuándo se considera que llega una respuesta. Sin esa precisión, dos cifras llamadas «latencia» pueden describir intervalos diferentes y no ser comparables.
En una aplicación de inteligencia artificial, el inicio podría ser la recepción de una solicitud por un componente concreto. El final podría ser la disponibilidad de una decisión, la entrega del primer fragmento de respuesta o la respuesta completa. No hay que asumir que una de estas opciones es siempre la definición correcta: depende de qué pregunta se intenta responder y de cómo se haya instrumentado el sistema.
Como definición general, el Portal Interoperable de la Unión Europea describe la latencia como la demora entre iniciar una solicitud y recibir una respuesta. Esa definición ayuda a fijar la idea de un intervalo, pero no establece por sí misma una métrica específica para inferencia de IA, generación en streaming o respuesta al usuario.
En esta ficha, «latencia» se usa como nombre general del intervalo medido. Cuando los límites son relevantes, se especifican por separado, por ejemplo, «desde la recepción hasta el primer token» o «desde el fin de la entrada de voz hasta el inicio audible de la respuesta». Esas formulaciones son propuestas para definir mediciones; no afirman que exista una convención universal que todos los sistemas sigan.
Qué intervalo se puede medir
Un sistema puede ofrecer varios hitos útiles dentro del mismo recorrido. En una solicitud que produce texto, se puede observar el intervalo hasta que aparece el primer token y, por separado, el intervalo hasta que se completa la respuesta. El primero describe cuándo comienza a estar disponible una parte de la salida; el segundo, cuándo está disponible el resultado completo según el criterio elegido. No son cifras intercambiables.
También se puede definir el inicio en distintos puntos. Contar desde que una interfaz recibe la acción del usuario no es lo mismo que contar desde que un servicio recibe la solicitud. La diferencia entre esos puntos puede incluir etapas que una medición interna del modelo no contiene. Por eso, una descripción rigurosa nombra el punto de entrada y no se limita a decir «tiempo de respuesta».
El tiempo hasta el primer token, a menudo abreviado como TTFT, puede ser útil cuando la aplicación muestra texto progresivamente. El tiempo hasta la respuesta completa puede ser más relevante si la tarea requiere disponer de todo el contenido antes de actuar. Estas son distinciones operativas para diseñar la medición. Las fuentes disponibles para esta ficha no permiten afirmar que haya una definición universal de TTFT, ni fijar un procedimiento común a todos los proveedores.
Hitos posibles y pregunta que responde cada intervalo
| Inicio propuesto | Final propuesto | Qué permite observar |
|---|---|---|
| La aplicación recibe una solicitud | El sistema entrega el primer fragmento de salida | Cuándo empieza a estar disponible una parte de la respuesta |
| La aplicación recibe una solicitud | La respuesta queda completa y disponible | Cuánto se tarda en obtener el resultado completo |
| Un componente recibe una entrada | Ese componente emite su resultado | El intervalo observado dentro de los límites instrumentados |
Latencia de inferencia y latencia de extremo a extremo
La latencia de inferencia suele referirse al tiempo atribuido a la ejecución de un modelo para producir una salida a partir de una entrada. Sin embargo, esa expresión no determina por sí sola dónde empieza el cronómetro ni qué operaciones incluye. Un estudio puede definir sus límites de una manera y una plataforma de otra; si la documentación no explica el alcance, la cifra queda incompleta para comparar.
La latencia de extremo a extremo, en cambio, se plantea desde un punto inicial del recorrido de la aplicación hasta un resultado observado en otro punto. Según los límites escogidos, puede comprender etapas anteriores o posteriores a la ejecución del modelo, como el tránsito de la solicitud, el procesamiento de la entrada o la entrega de la salida. Esta lista describe componentes que convendría comprobar, no asegura que todos aparezcan en cada sistema.
La latencia percibida por quien usa el producto tampoco debe equipararse automáticamente con la latencia de inferencia. Para aproximarse a la experiencia de una persona habría que definir qué evento visible o audible cuenta como respuesta y desde qué acción se mide. Si el sistema muestra contenido por partes, el primer indicio de respuesta y la finalización pueden afectar de forma distinta a esa experiencia.
La investigación sobre optimización de latencia en edge computing puede servir como contexto para reconocer que se estudia la ejecución de múltiples modelos en ese tipo de entorno. Pero el fragmento disponible no basta para derivar una definición general de latencia de inferencia ni para establecer que sus límites coincidan con los de una aplicación completa.
Proceso para documentar una medición
- 01Escribe el evento exacto que inicia el intervalo y el componente donde ocurre.
- 02Escribe el evento exacto que lo termina: primer fragmento, decisión disponible, salida completa u otro hito observable.
- 03Anota qué etapas quedan dentro y fuera de esos límites; si no se conocen, decláralo como una incertidumbre.
- 04Registra las condiciones de ejecución que acompañan a la cifra y el tipo de resumen presentado, como observación individual o distribución.
- 05Compara solo mediciones cuya definición y condiciones sean suficientemente parecidas para la pregunta que se quiere resolver.
Tres ejemplos aplicados: definir antes de medir
Los siguientes casos muestran cómo formular una medición, no resultados empíricos ni valores esperados. En cada uno, los hitos propuestos permiten construir una pregunta concreta. Un equipo podría elegir otros límites si su objetivo fuera distinto, siempre que los declare.
En una conversación de voz, si interesa saber cuándo empieza a contestar el sistema, se puede iniciar el intervalo al terminar la entrada de voz y detenerlo cuando comienza la respuesta audible. Si lo que se necesita es conocer el tiempo hasta que termina de hablar, el evento final debe cambiarse por el final de la salida de voz. Esas dos mediciones describen hitos diferentes. Para interpretarlas también habría que aclarar qué componente detecta el fin de la entrada y qué señal cuenta como inicio o final de la respuesta audible.
En la clasificación de transacciones, el inicio puede ser la recepción del evento por el sistema que debe evaluarlo y el final, el momento en que la decisión queda disponible para el componente que la necesita. La definición no obliga a incluir cada etapa anterior o posterior: eso depende de si se busca medir el clasificador, un servicio concreto o el recorrido completo de la aplicación. Una cifra sin esos límites no revela por sí sola cuál de esas preguntas responde.
En la generación de texto en streaming, se pueden definir dos intervalos con el mismo inicio, por ejemplo, desde que el servicio recibe la solicitud: uno termina cuando se entrega el primer token y otro cuando termina la respuesta. Si se informa solo uno, hay que decir cuál. El fragmento disponible de la fuente sobre latencia en IA habla de procesar una unidad de datos o completar una tarea, pero no verifica una métrica concreta para el primer token; por tanto, ese ejemplo debe entenderse como una propuesta de instrumentación, no como una afirmación atribuida a esa fuente.
Latencia, throughput y otras confusiones
La latencia y el throughput no responden a la misma pregunta. La primera se formula como duración de un intervalo asociado a una solicitud, tarea o evento definido. El throughput se usa para describir una cantidad procesada durante un periodo, pero la evidencia suministrada para esta ficha no contiene una fuente que establezca sus unidades o una definición técnica específica para sistemas de IA. Por ello, aquí la distinción se presenta como orientación conceptual y no como una cita de una norma universal.
Un sistema puede procesar muchas solicitudes a lo largo del tiempo y, aun así, una solicitud concreta tardar más de lo que un usuario considera aceptable. También puede ocurrir lo contrario: una respuesta individual puede llegar pronto en una prueba, sin que eso demuestre que el sistema sostendrá el mismo comportamiento con una carga elevada. Son escenarios posibles que ilustran por qué una medida de duración y una medida de procesamiento acumulado no deben tratarse como sinónimos.
El primer token tampoco equivale a la respuesta completa. En una salida incremental, el primer hito informa cuándo empieza a estar disponible contenido; no confirma cuánto tarda en completarse ni si el contenido final cumple la necesidad de la tarea. Del mismo modo, una medida de inferencia no demuestra automáticamente cuánto espera la persona que usa la aplicación.
Por último, latencia no es una medida de calidad de la respuesta. Una salida rápida puede ser incorrecta o incompleta, y una salida más lenta no queda validada por el mero hecho de tardar más. Para valorar calidad hacen falta criterios de evaluación distintos; las fuentes disponibles aquí no ofrecen una metodología para evaluarla.
No confundir estas preguntas
| Término o hito | Pregunta que plantea | Lo que no demuestra por sí solo |
|---|---|---|
| Latencia | ¿Cuánto transcurre entre estos dos eventos? | Calidad de salida o capacidad sostenida |
| Primer token | ¿Cuándo aparece la primera parte de la salida? | Cuándo se completa la respuesta |
| Respuesta completa | ¿Cuándo está disponible el resultado entero según el criterio declarado? | Cuándo empezó a aparecer contenido |
| Throughput | ¿Cuánto trabajo se procesa durante un periodo, según la unidad declarada? | La duración de una solicitud individual |
Cómo interpretar una cifra y cuáles son sus límites
Una cifra aislada no caracteriza el comportamiento de todos los tamaños de entrada y salida, todas las condiciones de red, cargas o configuraciones. Tampoco permite concluir que la misma latencia se observará en otros entornos. Para juzgar su alcance, primero hay que revisar la definición de la medición y las condiciones en que se obtuvo.
Comprueba si la documentación identifica el punto de inicio, el evento final y las etapas incluidas. Después, busca información sobre el tamaño de las entradas y salidas, la carga concurrente, el entorno de ejecución y cualquier condición que la fuente declare. Si esos detalles no aparecen en el material consultado, no los completes por suposición: señala que no están especificados.
También importa cómo se resume la observación. Un único registro y una distribución de varias observaciones no ofrecen el mismo tipo de información. Esta ficha recomienda comprobarlo antes de comparar cifras, pero las fuentes suministradas no prescriben un resumen estadístico concreto ni permiten fijar umbrales de aceptación.
La literatura indicada sobre optimización de latencia trata un problema técnico, pero el fragmento aportado no detalla las condiciones de evaluación. De forma similar, el artículo de investigación sobre ejecución de múltiples modelos en edge computing es pertinente como contexto de investigación, aunque el fragmento no basta para reconstruir su definición operativa. En consecuencia, no se extraen de esos fragmentos valores, rankings ni reglas generales.
Conceptos relacionados y errores frecuentes
La inferencia es el proceso de obtener una salida del modelo a partir de una entrada; la latencia de inferencia es el tiempo que se atribuye a ese proceso según los límites definidos por quien mide. No son sinónimos: el nombre del proceso no especifica automáticamente el intervalo cronológico ni sus componentes.
Un token es una unidad que puede aparecer en la representación o generación de texto. En esta ficha, «tiempo hasta el primer token» designa un hito propuesto para una medición de salida progresiva. No significa que toda respuesta se entregue token a token ni que ese hito sea suficiente para valorar la experiencia completa.
La caché de contexto es un concepto relacionado con reutilizar información contextual en ciertos flujos de procesamiento. No debe confundirse con una unidad de latencia: para atribuirle un efecto sobre una medición concreta habría que disponer de documentación y condiciones comparables. Las fuentes suministradas no bastan para cuantificar ese efecto ni para afirmar que se aplique a todos los servicios.
La evaluación de IA examina propiedades de una salida o de un sistema mediante criterios definidos. La medición de latencia puede formar parte de una evaluación, pero no reemplaza la valoración de exactitud, utilidad o seguridad. No se proporcionan aquí fuentes suficientes para establecer cómo evaluar esas propiedades.
Criterios prácticos para describir y comparar latencias
Para describir una medición de forma útil, anota el evento inicial y el final con palabras observables, identifica qué componente registra cada uno y declara las etapas incluidas y excluidas. Si el hito es el primer token, dilo; si es la respuesta completa, define cómo se reconoce que está completa. Evita el rótulo genérico «respuesta» cuando puede significar varias cosas.
Añade las condiciones de ejecución que la fuente proporcione, como carga concurrente o tamaño de entrada y salida, y aclara cuándo no estén disponibles. Indica si el dato representa una observación o un resumen de varias. No extrapoles el resultado más allá de lo que permite su alcance documentado.
Para comparar dos cifras, comprueba primero que respondan a la misma pregunta, con hitos y condiciones suficientemente similares. Si una cifra mide el tiempo hasta el primer token y otra el tiempo hasta completar una respuesta, preséntalas como métricas distintas. Si una corresponde a un componente y otra al recorrido completo, no atribuyas la diferencia a un modelo sin evidencia adicional.
En resumen, la latencia no es una propiedad que pueda interpretarse correctamente sin contexto: es el tiempo entre dos hitos definidos. La práctica más segura consiste en nombrar esos hitos, explicar qué queda dentro del intervalo y tratar como pendiente cualquier detalle que la documentación consultada no permita verificar.
Lista de comprobación antes de publicar una cifra
- 01¿Se identifican el punto de inicio y el hito final?
- 02¿Se distingue entre primer resultado y respuesta completa?
- 03¿Queda claro si se mide un componente, la inferencia o el recorrido de extremo a extremo?
- 04¿Se describen las condiciones de ejecución y el tipo de dato informado?
- 05¿La conclusión se limita a lo que esa medición permite afirmar?
