Latência em IA: que intervalo é medido e por que o marco da resposta importa

Definição: um intervalo com dois marcos

Latência é o tempo decorrido entre um evento inicial e um evento final definidos previamente. Para interpretar uma medida, é preciso saber quais são esses dois marcos: por exemplo, quando se considera que uma solicitação começa e quando se considera que uma resposta chega. Sem essa precisão, dois números chamados de “latência” podem descrever intervalos diferentes e não ser comparáveis.

Em uma aplicação de inteligência artificial, o início pode ser o recebimento de uma solicitação por um componente específico. O fim pode ser a disponibilidade de uma decisão, a entrega do primeiro trecho da resposta ou a resposta completa. Não se deve presumir que uma dessas opções seja sempre a definição correta: isso depende da pergunta que se pretende responder e de como o sistema foi instrumentado.

Como definição geral, o Portal Interoperável da União Europeia descreve latência como o atraso entre o início de uma solicitação e o recebimento de uma resposta. Essa definição ajuda a estabelecer a ideia de um intervalo, mas, por si só, não determina uma métrica específica para inferência de IA, geração em streaming ou resposta ao usuário.

Neste artigo, “latência” é usada como o nome geral do intervalo medido. Quando os limites importam, eles são especificados separadamente, por exemplo, “do recebimento até o primeiro token” ou “do fim da entrada de voz até o início audível da resposta”. Essas formulações são propostas para definir medições; não significam que exista uma convenção universal seguida por todos os sistemas.

Qual intervalo pode ser medido

Um sistema pode oferecer vários marcos úteis ao longo do mesmo fluxo. Em uma solicitação que gera texto, é possível observar o intervalo até a chegada do primeiro token e, separadamente, o intervalo até a resposta ser concluída. O primeiro indica quando uma parte da saída começa a ficar disponível; o segundo, quando o resultado completo está disponível de acordo com o critério escolhido. Esses números não são intercambiáveis.

Também é possível definir o início em pontos diferentes. Contar a partir do momento em que uma interface recebe a ação do usuário não é o mesmo que contar a partir do momento em que um serviço recebe a solicitação. A diferença entre esses pontos pode incluir etapas que uma medição interna do modelo não contempla. Por isso, uma descrição rigorosa nomeia o ponto de entrada, em vez de se limitar a dizer “tempo de resposta”.

O tempo até o primeiro token, frequentemente abreviado como TTFT, pode ser útil quando a aplicação exibe texto progressivamente. O tempo até a resposta completa pode ser mais relevante quando a tarefa exige que todo o conteúdo esteja disponível antes de se agir. Essas são distinções operacionais para planejar uma medição. As fontes disponíveis para este artigo não permitem afirmar que exista uma definição universal de TTFT nem estabelecer um procedimento comum a todos os provedores.

Latência de inferência e latência de ponta a ponta

Latência de inferência costuma se referir ao tempo atribuído à execução de um modelo para produzir uma saída a partir de uma entrada. No entanto, essa expressão não determina, por si só, onde o cronômetro começa nem quais operações estão incluídas. Um estudo pode definir seus limites de uma forma e uma plataforma, de outra; se a documentação não explicar o escopo, o número fica incompleto para fins de comparação.

Já a latência de ponta a ponta é considerada a partir de um ponto inicial do fluxo da aplicação até um resultado observado em outro ponto. Dependendo dos limites escolhidos, pode incluir etapas anteriores ou posteriores à execução do modelo, como o trânsito da solicitação, o processamento da entrada ou a entrega da saída. Essa lista descreve componentes que convém verificar; não garante que todos estejam presentes em cada sistema.

A latência percebida por quem usa o produto também não deve ser automaticamente equiparada à latência de inferência. Para se aproximar da experiência de uma pessoa, seria preciso definir qual evento visível ou audível conta como resposta e a partir de qual ação ele é medido. Se o sistema exibe conteúdo em partes, o primeiro sinal de resposta e a conclusão podem afetar essa experiência de maneiras diferentes.

Pesquisas sobre otimização de latência em computação de borda podem servir de contexto para reconhecer que a execução de vários modelos nesse tipo de ambiente é estudada. Mas o trecho disponível não basta para derivar uma definição geral de latência de inferência nem para estabelecer que seus limites coincidam com os de uma aplicação completa.

Três exemplos práticos: defina antes de medir

Os casos a seguir mostram como formular uma medição; não são resultados empíricos nem valores esperados. Em cada um, os marcos propostos permitem construir uma pergunta concreta. Uma equipe pode escolher outros limites se tiver outro objetivo, desde que os declare.

Em uma conversa por voz, se o interesse é saber quando o sistema começa a responder, é possível iniciar o intervalo quando termina a entrada de voz e encerrá-lo quando começa a resposta audível. Se for necessário saber quanto tempo leva até a fala terminar, o evento final deve ser alterado para o fim da saída de voz. Essas duas medições descrevem marcos diferentes. Para interpretá-las, também seria preciso esclarecer qual componente detecta o fim da entrada e qual sinal conta como início ou fim da resposta audível.

Na classificação de transações, o início pode ser o recebimento do evento pelo sistema que deve avaliá-lo, e o fim, o momento em que a decisão fica disponível para o componente que precisa dela. A definição não exige incluir todas as etapas anteriores ou posteriores: isso depende de se o objetivo é medir o classificador, um serviço específico ou o fluxo completo da aplicação. Um número sem esses limites não revela, por si só, qual dessas perguntas responde.

Na geração de texto em streaming, podem ser definidos dois intervalos com o mesmo início, por exemplo, a partir do recebimento da solicitação pelo serviço: um termina quando o primeiro token é entregue e o outro, quando a resposta termina. Se apenas um deles for informado, é preciso dizer qual. O trecho disponível da fonte sobre latência em IA fala em processar uma unidade de dados ou concluir uma tarefa, mas não verifica uma métrica específica para o primeiro token; portanto, esse exemplo deve ser entendido como uma proposta de instrumentação, não como uma afirmação atribuída à fonte.

Latência, throughput e outras confusões

Latência e throughput não respondem à mesma pergunta. A primeira é formulada como a duração de um intervalo associado a uma solicitação, tarefa ou evento definido. Throughput é usado para descrever uma quantidade processada durante um período, mas as evidências fornecidas para este artigo não incluem uma fonte que estabeleça suas unidades ou uma definição técnica específica para sistemas de IA. Por isso, a distinção é apresentada aqui como orientação conceitual, e não como citação de uma norma universal.

Um sistema pode processar muitas solicitações ao longo do tempo e, ainda assim, uma solicitação específica levar mais tempo do que o usuário considera aceitável. Também pode ocorrer o contrário: uma resposta individual chegar rapidamente em um teste, sem que isso demonstre que o sistema manterá o mesmo comportamento sob carga elevada. São cenários possíveis que ilustram por que uma medida de duração e uma medida de processamento acumulado não devem ser tratadas como sinônimos.

O primeiro token também não equivale à resposta completa. Em uma saída incremental, o primeiro marco informa quando o conteúdo começa a ficar disponível; não confirma quanto tempo a conclusão levará nem se o conteúdo final atende à necessidade da tarefa. Da mesma forma, uma medida de inferência não demonstra automaticamente quanto tempo a pessoa que usa a aplicação espera.

Por fim, latência não é uma medida da qualidade da resposta. Uma saída rápida pode estar incorreta ou incompleta, e uma saída mais lenta não é validada simplesmente por levar mais tempo. Para avaliar qualidade, são necessários critérios distintos; as fontes disponíveis aqui não oferecem uma metodologia para essa avaliação.

Como interpretar um número e quais são seus limites

Um número isolado não caracteriza o comportamento para todos os tamanhos de entrada e saída, todas as condições de rede, cargas ou configurações. Tampouco permite concluir que a mesma latência será observada em outros ambientes. Para avaliar seu alcance, primeiro é preciso verificar a definição da medição e as condições em que ela foi obtida.

Confira se a documentação identifica o ponto de início, o evento final e as etapas incluídas. Em seguida, procure informações sobre os tamanhos de entrada e saída, a carga concorrente, o ambiente de execução e quaisquer condições declaradas pela fonte. Se esses detalhes não constarem do material consultado, não os complete com suposições: indique que não foram especificados.

Também importa saber como a observação é resumida. Um único registro e uma distribuição de várias observações não oferecem o mesmo tipo de informação. Este artigo recomenda verificar esse aspecto antes de comparar números, mas as fontes fornecidas não prescrevem um resumo estatístico específico nem permitem definir limites de aceitação.

A literatura indicada sobre otimização de latência trata de um problema técnico, mas o trecho fornecido não detalha as condições de avaliação. Da mesma forma, o artigo de pesquisa sobre a execução de vários modelos em computação de borda é pertinente como contexto de pesquisa, embora o trecho não seja suficiente para reconstruir sua definição operacional. Por isso, não são extraídos desses trechos valores, classificações ou regras gerais.

Conceitos relacionados e erros frequentes

Inferência é o processo de obter uma saída do modelo a partir de uma entrada; latência de inferência é o tempo atribuído a esse processo de acordo com os limites definidos por quem mede. Não são sinônimos: o nome do processo não especifica automaticamente o intervalo cronológico nem seus componentes.

Um token é uma unidade que pode aparecer na representação ou na geração de texto. Neste artigo, “tempo até o primeiro token” designa um marco proposto para medir uma saída progressiva. Isso não significa que toda resposta seja entregue token a token nem que esse marco seja suficiente para avaliar a experiência completa.

Cache de contexto é um conceito relacionado à reutilização de informações contextuais em certos fluxos de processamento. Não deve ser confundido com uma unidade de latência: para atribuir a ele um efeito sobre uma medição específica, seria necessário dispor de documentação e condições comparáveis. As fontes fornecidas não bastam para quantificar esse efeito nem para afirmar que ele se aplica a todos os serviços.

A avaliação de IA examina propriedades de uma saída ou de um sistema por meio de critérios definidos. A medição de latência pode fazer parte de uma avaliação, mas não substitui a análise de exatidão, utilidade ou segurança. Não há fontes suficientes aqui para estabelecer como avaliar essas propriedades.

Critérios práticos para descrever e comparar latências

Para descrever uma medição de forma útil, registre o evento inicial e o final em termos observáveis, identifique qual componente registra cada um e declare as etapas incluídas e excluídas. Se o marco for o primeiro token, diga isso; se for a resposta completa, defina como se reconhece que ela está completa. Evite o rótulo genérico “resposta” quando ele puder significar várias coisas.

Acrescente as condições de execução informadas pela fonte, como carga concorrente ou tamanho da entrada e da saída, e esclareça quando esses dados não estiverem disponíveis. Indique se o dado representa uma observação ou um resumo de várias. Não extrapole o resultado para além do que seu escopo documentado permite.

Para comparar dois números, verifique primeiro se eles respondem à mesma pergunta, com marcos e condições suficientemente semelhantes. Se um mede o tempo até o primeiro token e o outro, o tempo até a conclusão da resposta, apresente-os como métricas distintas. Se um corresponde a um componente e o outro ao fluxo completo, não atribua a diferença a um modelo sem evidências adicionais.

Em resumo, a latência não é uma propriedade que possa ser interpretada corretamente sem contexto: é o tempo entre dois marcos definidos. A prática mais segura é nomear esses marcos, explicar o que está incluído no intervalo e tratar como pendente qualquer detalhe que a documentação consultada não permita verificar.

Conceitos relacionados