Long-Transduction: um diagnóstico controlado para medir a deriva em agentes de IA em tarefas longas

O problema da confiabilidade em fluxos de trabalho agênticos

Os fluxos de trabalho agênticos de longa duração exigem que os modelos de linguagem mantenham ações repetidas que dependem do estado atual do sistema. À medida que o contexto cresce, a complexidade das sub-tarefas muda e novos dados chegam, cada situação representa um eixo independente de possível falha.

Um exemplo ilustrativo é um agente que concilia um livro-razão longo: ele deve ler repetidamente seu estado, atualizar o registro correto e preservar o alinhamento através de milhares de saídas. Um modelo pode aceitar o livro-razão completo, mas perder sua posição ou parar de aplicar a operação de maneira consistente à medida que a geração avança.

Construção do Long-Transduction: variáveis controladas

O Long-Transduction é um diagnóstico controlado que testa a capacidade de um modelo para permanecer na tarefa durante uma geração longa. O teste envolve ler, modificar e emitir continuamente operações dependentes do contexto de entrada, como aritmética, ordenação, buscas de variáveis e transformações de tabelas.

A avaliação varia de forma independente três variáveis-chave: a complexidade da tarefa local, o formato dos dados de entrada e o comprimento do contexto. Este design permite isolar as falhas ao longo de cada eixo separadamente, em vez de medir um desempenho global difuso.

Resultados em sete modelos de pesos abertos

Os autores avaliaram sete modelos de pesos abertos utilizando este quadro de diagnóstico. Os resultados mostram uma diminuição de 62,8% no desempenho ao escalar o comprimento do contexto de 4K para 128K tokens. Este número sugere que a mera acumulação de contexto é um fator crítico de degradação.

Além disso, observou-se uma diminuição de 36,5% ao variar o formato da entrada e uma queda de 39,9% ao aumentar a complexidade da tarefa local. Juntas, essas falhas representam passivos críticos nos fluxos de trabalho agênticos de longa duração, indicando que a confiabilidade não é linear com o tamanho do modelo ou o comprimento da janela.

Diferença entre diagnóstico e demonstração de produção

É fundamental distinguir este diagnóstico controlado de uma demonstração de desempenho em ambientes de produção. O Long-Transduction isola variáveis para entender a mecânica da falha, mas não simula a interação completa com ferramentas externas, bancos de dados dinâmicos ou usuários humanos.

Os resultados não garantem que um modelo que falhe neste teste falhe em uma aplicação real, nem que um que passe o teste seja confiável em produção. O teste é uma ferramenta de engenharia para identificar vulnerabilidades específicas, não uma certificação de aptidão para implantação.

Limitações e requisitos para a generalização

O preprint, publicado no arXiv, não detalha no resumo as métricas específicas de sucesso, as linhas de base comparativas nem a disponibilidade de código e dados para a replicação. A verificação completa requer acessar o texto completo do documento para avaliar a metodologia detalhada.

Para avaliar a generalização dessas descobertas, seriam necessários dados de rastros de execução, o código do teste e uma validação em agentes com ferramentas. Os autores reconhecem implicitamente que essas falhas são críticas, mas a extensão para ambientes reais com ferramentas complexas continua sendo uma hipótese pendente de verificação empírica.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.