Latenza nell’IA: quale intervallo si misura e perché conta il momento della risposta

Definizione: un intervallo delimitato da due momenti

La latenza è il tempo trascorso tra un evento iniziale e un evento finale definiti in anticipo. Per interpretare una misurazione occorre sapere quali sono questi due momenti: per esempio, quando si considera avviata una richiesta e quando si considera arrivata una risposta. Senza questa precisazione, due valori etichettati come «latenza» possono descrivere intervalli diversi e non essere confrontabili.

In un’applicazione di intelligenza artificiale, l’inizio potrebbe coincidere con la ricezione di una richiesta da parte di un componente specifico. La fine potrebbe essere il momento in cui una decisione diventa disponibile, viene consegnata la prima parte della risposta oppure è pronta la risposta completa. Non bisogna presumere che una di queste opzioni sia sempre quella corretta: dipende dalla domanda a cui si vuole rispondere e da come è stato strumentato il sistema.

Come definizione generale, il portale Interoperable Europe dell’Unione europea descrive la latenza come il ritardo tra l’avvio di una richiesta e la ricezione di una risposta. Questa definizione aiuta a comprendere l’idea di un intervallo, ma da sola non stabilisce una metrica specifica per l’inferenza dell’IA, la generazione in streaming o la risposta percepita dall’utente.

In questa scheda, «latenza» indica in generale l’intervallo misurato. Quando i limiti sono importanti, li specifichiamo separatamente, per esempio «dalla ricezione al primo token» o «dalla fine dell’input vocale all’inizio udibile della risposta». Sono formulazioni proposte per definire le misurazioni; non implicano l’esistenza di una convenzione universale seguita da tutti i sistemi.

Quale intervallo si può misurare

All’interno dello stesso percorso, un sistema può presentare diversi momenti utili da osservare. Per una richiesta che produce testo, si può misurare l’intervallo fino alla comparsa del primo token e, separatamente, quello fino al completamento della risposta. Il primo descrive quando una parte dell’output inizia a essere disponibile; il secondo, quando è disponibile il risultato completo secondo il criterio scelto. Non sono valori intercambiabili.

Anche il punto iniziale può essere definito in modi diversi. Misurare da quando un’interfaccia riceve l’azione dell’utente non equivale a misurare da quando un servizio riceve la richiesta. La differenza tra questi punti può comprendere fasi che una misurazione interna al modello non include. Perciò, una descrizione rigorosa specifica il punto di ingresso e non si limita a dire «tempo di risposta».

Il tempo al primo token, spesso abbreviato in TTFT, può essere utile quando l’applicazione mostra il testo progressivamente. Il tempo necessario per completare la risposta può invece essere più rilevante se il compito richiede che tutto il contenuto sia disponibile prima di procedere. Sono distinzioni operative utili per progettare una misurazione. Le fonti disponibili per questa scheda non permettono di affermare che esista una definizione universale di TTFT né di stabilire una procedura comune a tutti i fornitori.

Latenza di inferenza e latenza end-to-end

La latenza di inferenza indica in genere il tempo attribuito all’esecuzione di un modello per produrre un output a partire da un input. Tuttavia, questa espressione non determina da sola dove inizi il cronometro né quali operazioni siano incluse. Uno studio può definire i propri limiti in un modo e una piattaforma in un altro; se la documentazione non chiarisce l’ambito, il valore è incompleto ai fini del confronto.

La latenza end-to-end, invece, è misurata tra un punto iniziale del percorso dell’applicazione e un risultato osservato in un altro punto. A seconda dei limiti scelti, può comprendere fasi precedenti o successive all’esecuzione del modello, come il transito della richiesta, l’elaborazione dell’input o la consegna dell’output. Questo elenco descrive gli aspetti da verificare, ma non implica che siano presenti tutti in ogni sistema.

La latenza percepita da chi usa il prodotto non va automaticamente equiparata alla latenza di inferenza. Per avvicinarsi all’esperienza di una persona, occorre definire quale evento visibile o udibile costituisce la risposta e da quale azione si inizia a misurare. Se il sistema mostra contenuti a parti, il primo segnale di risposta e il completamento possono influire in modo diverso sull’esperienza.

La ricerca sull’ottimizzazione della latenza nell’edge computing può essere utile per riconoscere che l’esecuzione di più modelli in questo tipo di ambiente è oggetto di studio. Tuttavia, il frammento disponibile non è sufficiente per ricavarne una definizione generale della latenza di inferenza né per stabilire che i suoi limiti coincidano con quelli di un’applicazione completa.

Tre esempi pratici: definire prima di misurare

I casi seguenti mostrano come formulare una misurazione, non risultati empirici né valori attesi. In ognuno, i momenti proposti permettono di porre una domanda concreta. Un team può scegliere limiti diversi se il suo obiettivo è un altro, purché li dichiari.

In una conversazione vocale, se interessa sapere quando il sistema comincia a rispondere, si può avviare l’intervallo al termine dell’input vocale e fermarlo quando inizia la risposta udibile. Se invece serve conoscere il tempo necessario perché il sistema finisca di parlare, l’evento finale va spostato alla fine dell’output vocale. Queste due misurazioni descrivono momenti diversi. Per interpretarle occorre anche chiarire quale componente rileva la fine dell’input e quale segnale viene considerato l’inizio o la fine della risposta udibile.

Per la classificazione delle transazioni, l’inizio può essere la ricezione dell’evento da parte del sistema che deve valutarlo e la fine il momento in cui la decisione diventa disponibile per il componente che ne ha bisogno. La definizione non impone di includere ogni fase precedente o successiva: dipende dal fatto che si voglia misurare il classificatore, un servizio specifico o l’intero percorso dell’applicazione. Un valore privo di questi limiti non chiarisce da solo a quale domanda risponda.

Nella generazione di testo in streaming si possono definire due intervalli con lo stesso inizio, per esempio da quando il servizio riceve la richiesta: uno termina alla consegna del primo token e l’altro al completamento della risposta. Se se ne riporta uno solo, bisogna specificare quale. Il frammento disponibile della fonte sulla latenza nell’IA parla di elaborare un’unità di dati o completare un compito, ma non conferma una metrica specifica per il primo token; questo esempio va quindi inteso come proposta di strumentazione, non come affermazione attribuita a quella fonte.

Latenza, throughput e altre confusioni

Latenza e throughput non rispondono alla stessa domanda. La latenza è formulata come la durata di un intervallo associato a una richiesta, un compito o un evento definiti. Il termine throughput descrive la quantità elaborata durante un periodo, ma le prove fornite per questa scheda non includono una fonte che ne stabilisca le unità o una definizione tecnica specifica per i sistemi di IA. La distinzione è quindi presentata come orientamento concettuale, non come citazione di uno standard universale.

Un sistema può elaborare molte richieste nel corso del tempo e, nonostante ciò, impiegare più tempo di quanto un utente ritenga accettabile per una singola richiesta. Può verificarsi anche il contrario: una risposta individuale può arrivare rapidamente in una prova, senza che questo dimostri che il sistema manterrà lo stesso comportamento sotto carico elevato. Sono scenari possibili che illustrano perché una misura di durata e una di elaborazione cumulativa non vadano trattate come sinonimi.

Il primo token non equivale neppure alla risposta completa. In un output progressivo, il primo momento di riferimento indica quando il contenuto comincia a essere disponibile; non dice quanto servirà per completarlo né se il contenuto finale soddisferà le esigenze del compito. Allo stesso modo, una misurazione dell’inferenza non dimostra automaticamente quanto debba aspettare chi usa l’applicazione.

Infine, la latenza non misura la qualità della risposta. Un output rapido può essere errato o incompleto; uno più lento non è convalidato dal solo fatto di avere richiesto più tempo. Per valutare la qualità servono criteri distinti; le fonti disponibili qui non forniscono una metodologia per farlo.

Come interpretare un valore e quali sono i suoi limiti

Un singolo valore non descrive il comportamento con ogni dimensione di input e output, in tutte le condizioni di rete, con ogni carico o configurazione. Non permette neppure di concludere che la stessa latenza si osserverà in altri ambienti. Per valutarne la portata, occorre prima verificare la definizione della misurazione e le condizioni in cui è stata ottenuta.

Controlla se la documentazione identifica il punto di inizio, l’evento finale e le fasi incluse. Cerca poi informazioni sulle dimensioni di input e output, sul carico concorrente, sull’ambiente di esecuzione e su ogni altra condizione dichiarata dalla fonte. Se questi dettagli non compaiono nel materiale consultato, non completarli facendo supposizioni: segnala che non sono specificati.

Conta anche il modo in cui viene riassunta l’osservazione. Un singolo dato e una distribuzione di più osservazioni non forniscono lo stesso tipo di informazione. Questa scheda consiglia di verificarlo prima di confrontare i valori, ma le fonti fornite non prescrivono uno specifico riepilogo statistico né permettono di stabilire soglie di accettazione.

La letteratura citata sull’ottimizzazione della latenza affronta un problema tecnico, ma il frammento fornito non descrive le condizioni di valutazione. Analogamente, l’articolo di ricerca sull’esecuzione di più modelli nell’edge computing è pertinente come contesto di ricerca, ma il frammento non basta a ricostruirne la definizione operativa. Di conseguenza, da questi estratti non ricaviamo valori, classifiche o regole generali.

Concetti correlati ed errori frequenti

L’inferenza è il processo con cui si ottiene un output del modello a partire da un input; la latenza di inferenza è il tempo attribuito a quel processo secondo i limiti definiti da chi misura. Non sono sinonimi: il nome del processo non specifica automaticamente l’intervallo cronologico né i suoi componenti.

Un token è un’unità che può comparire nella rappresentazione o nella generazione del testo. In questa scheda, «tempo al primo token» indica un momento di riferimento proposto per misurare un output progressivo. Non significa che ogni risposta venga fornita token per token né che quel momento basti a valutare l’esperienza complessiva.

La cache del contesto è un concetto correlato al riutilizzo di informazioni contestuali in alcuni flussi di elaborazione. Non va confusa con un’unità di latenza: per attribuirle un effetto su una specifica misurazione servirebbero documentazione e condizioni confrontabili. Le fonti fornite non bastano a quantificare tale effetto né ad affermare che si applichi a tutti i servizi.

La valutazione dell’IA esamina le proprietà di un output o di un sistema secondo criteri definiti. La misurazione della latenza può far parte di una valutazione, ma non sostituisce l’analisi di accuratezza, utilità o sicurezza. Qui non sono fornite fonti sufficienti per stabilire come valutare queste proprietà.

Criteri pratici per descrivere e confrontare le latenze

Per descrivere una misurazione in modo utile, annota l’evento iniziale e quello finale usando termini osservabili, identifica il componente che registra ciascuno dei due e dichiara quali fasi sono incluse o escluse. Se il momento scelto è il primo token, specificalo; se è la risposta completa, definisci come si riconosce che è completa. Evita l’etichetta generica «risposta» quando può indicare più cose.

Aggiungi le condizioni di esecuzione dichiarate dalla fonte, come il carico concorrente o le dimensioni di input e output, e chiarisci quando non sono disponibili. Indica se il dato rappresenta un’osservazione o un riepilogo di più osservazioni. Non estendere il risultato oltre quanto consente l’ambito documentato.

Per confrontare due valori, verifica prima che rispondano alla stessa domanda e che i momenti di riferimento e le condizioni siano sufficientemente simili. Se un valore misura il tempo al primo token e l’altro il tempo necessario per completare una risposta, presentali come metriche distinte. Se uno riguarda un componente e l’altro il percorso completo, non attribuire la differenza a un modello senza ulteriori prove.

In sintesi, la latenza non è una proprietà interpretabile correttamente senza contesto: è il tempo che intercorre tra due momenti definiti. La pratica più sicura consiste nel nominare quei momenti, spiegare che cosa rientra nell’intervallo e considerare non verificato ogni dettaglio che la documentazione consultata non permette di confermare.

Concetti correlati