Latenz in KI: Welche Zeit gemessen wird und warum der Antwortzeitpunkt zählt

Definition: ein Zeitintervall mit zwei festgelegten Zeitpunkten

Latenz ist die Zeitspanne zwischen einem zuvor festgelegten Anfangsereignis und einem festgelegten Endereignis. Um einen Messwert richtig einzuordnen, muss klar sein, welche beiden Zeitpunkte gemeint sind: etwa, wann eine Anfrage als gestartet gilt und wann eine Antwort als eingegangen gilt. Ohne diese Präzisierung können zwei Werte, die beide als „Latenz“ bezeichnet werden, unterschiedliche Zeitintervalle abbilden und daher nicht miteinander vergleichbar sein.

In einer KI-Anwendung kann der Anfang zum Beispiel der Eingang einer Anfrage bei einer bestimmten Komponente sein. Als Ende kann gelten, wann eine Entscheidung verfügbar ist, wann der erste Teil einer Antwort ausgegeben wird oder wann die vollständige Antwort vorliegt. Keine dieser Möglichkeiten ist grundsätzlich die einzig richtige Definition. Entscheidend ist, welche Frage beantwortet werden soll und wie das System instrumentiert wurde.

Das Interoperable Europe Portal der Europäischen Union beschreibt Latenz allgemein als Verzögerung zwischen dem Start einer Anfrage und dem Erhalt einer Antwort. Diese Beschreibung veranschaulicht das Prinzip eines Zeitintervalls, legt aber für sich genommen keine bestimmte Messgröße für KI-Inferenz, Streaming-Generierung oder die Antwortzeit aus Sicht der Nutzenden fest.

In diesem Glossareintrag bezeichnet „Latenz“ allgemein das gemessene Intervall. Wenn die Grenzen wichtig sind, werden sie ausdrücklich benannt, etwa als „vom Eingang der Anfrage bis zum ersten Token“ oder „vom Ende der Spracheingabe bis zum Beginn der hörbaren Antwort“. Das sind Vorschläge zur Definition von Messungen. Sie besagen nicht, dass alle Systeme einer einheitlichen, universellen Konvention folgen.

Welche Zeitintervalle sich messen lassen

Innerhalb desselben Ablaufs können mehrere Zeitpunkte von Interesse sein. Bei einer Anfrage, die Text erzeugt, lässt sich zum Beispiel die Zeit bis zum ersten Token messen und davon getrennt die Zeit bis zur vollständigen Antwort. Der erste Messwert beschreibt, wann ein Teil der Ausgabe verfügbar wird. Der zweite beschreibt, wann das vollständige Ergebnis nach dem gewählten Kriterium vorliegt. Diese Werte sind nicht austauschbar.

Auch der Startpunkt lässt sich an unterschiedlichen Stellen festlegen. Die Zeitmessung ab dem Moment, in dem eine Benutzeroberfläche eine Aktion empfängt, ist nicht dasselbe wie eine Messung ab dem Eingang der Anfrage bei einem Dienst. Zwischen diesen Punkten können Schritte liegen, die eine interne Messung des Modells nicht umfasst. Eine sorgfältige Beschreibung nennt deshalb den konkreten Eingangspunkt und beschränkt sich nicht auf die allgemeine Angabe „Antwortzeit“.

Die Zeit bis zum ersten Token, häufig mit TTFT abgekürzt, kann nützlich sein, wenn eine Anwendung Text schrittweise anzeigt. Die Zeit bis zur vollständigen Antwort kann wichtiger sein, wenn eine Aufgabe erst ausgeführt werden kann, sobald der gesamte Inhalt vorliegt. Das sind praktische Unterscheidungen für die Gestaltung einer Messung. Die für diesen Eintrag verfügbaren Quellen belegen weder eine universelle Definition von TTFT noch ein einheitliches Verfahren, das alle Anbieter verwenden.

Inferenzlatenz und Ende-zu-Ende-Latenz

Mit Inferenzlatenz ist häufig die Zeit gemeint, die der Ausführung eines Modells zugerechnet wird, wenn es aus einer Eingabe eine Ausgabe erzeugt. Der Begriff allein legt jedoch weder fest, wo die Zeitmessung beginnt, noch welche Verarbeitungsschritte enthalten sind. Eine Studie kann andere Grenzen definieren als eine Plattform. Erläutert die Dokumentation den Umfang nicht, ist der Messwert für Vergleiche unvollständig.

Die Ende-zu-Ende-Latenz wird dagegen vom Anfangspunkt eines Anwendungsablaufs bis zu einem an einem anderen Punkt beobachteten Ergebnis betrachtet. Je nach gewählten Grenzen kann sie Schritte vor oder nach der Modellausführung umfassen, etwa die Übertragung der Anfrage, die Verarbeitung der Eingabe oder die Ausgabe des Ergebnisses. Das sind mögliche Bestandteile, die geprüft werden sollten; es ist keine Aussage, dass sie in jedem System alle enthalten sind.

Auch die von Nutzenden wahrgenommene Latenz sollte nicht automatisch mit der Inferenzlatenz gleichgesetzt werden. Um sich der Nutzererfahrung anzunähern, muss festgelegt werden, welches sichtbare oder hörbare Ereignis als Antwort zählt und ab welcher Aktion gemessen wird. Wenn ein System Inhalte schrittweise ausgibt, können der erste Hinweis auf eine Antwort und deren Abschluss die Erfahrung unterschiedlich beeinflussen.

Forschung zur Optimierung der Latenz bei der Ausführung mehrerer Modelle im Edge-Computing kann als Kontext dafür dienen, dass die Ausführung mehrerer Modelle in solchen Umgebungen untersucht wird. Der verfügbare Ausschnitt reicht jedoch nicht aus, um daraus eine allgemeine Definition von Inferenzlatenz abzuleiten oder zu zeigen, dass die dort verwendeten Grenzen mit denen einer vollständigen Anwendung übereinstimmen.

Drei Anwendungsbeispiele: erst definieren, dann messen

Die folgenden Fälle zeigen, wie sich eine Messung formulieren lässt. Sie enthalten weder empirische Ergebnisse noch erwartete Messwerte. Die vorgeschlagenen Zeitpunkte machen jeweils eine konkrete Frage messbar. Ein Team kann andere Grenzen wählen, wenn es eine andere Fragestellung verfolgt – vorausgesetzt, es legt diese Grenzen offen.

Bei einem Sprachdialog kann das Intervall, wenn von Interesse ist, wann das System zu antworten beginnt, am Ende der Spracheingabe starten und mit dem Beginn der hörbaren Antwort enden. Soll stattdessen die Zeit bis zum Ende der gesprochenen Antwort ermittelt werden, muss als Endereignis das Ende der Sprachausgabe verwendet werden. Diese beiden Messungen beschreiben unterschiedliche Zeitpunkte. Für ihre Einordnung müsste zusätzlich geklärt werden, welche Komponente das Ende der Eingabe erkennt und welches Signal als Beginn oder Ende der hörbaren Antwort zählt.

Bei der Klassifizierung von Transaktionen kann die Messung mit dem Eingang des Ereignisses bei dem System beginnen, das es bewerten soll. Als Ende kann der Zeitpunkt gelten, an dem die Entscheidung für die benötigte Komponente verfügbar ist. Die Definition verlangt nicht, sämtliche davor oder danach liegenden Verarbeitungsschritte einzubeziehen. Das hängt davon ab, ob der Klassifikator, ein bestimmter Dienst oder der vollständige Anwendungsablauf gemessen werden soll. Ohne diese Grenzen zeigt ein Wert für sich genommen nicht, welche dieser Fragen er beantwortet.

Bei der Textgenerierung im Streaming lassen sich vom selben Startpunkt aus zwei Intervalle definieren, zum Beispiel ab dem Eingang der Anfrage beim Dienst: eines endet mit der Ausgabe des ersten Tokens, das andere mit dem Abschluss der Antwort. Wird nur ein Wert angegeben, sollte klar sein, welcher gemeint ist. Der verfügbare Ausschnitt der Quelle zu KI-Latenz spricht von der Verarbeitung einer Dateneinheit oder dem Abschluss einer Aufgabe, belegt aber keine bestimmte Messgröße für das erste Token. Das Beispiel ist daher als Vorschlag zur Instrumentierung zu verstehen und nicht als Aussage, die dieser Quelle zugeschrieben wird.

Latenz, Durchsatz und häufige Missverständnisse

Latenz und Durchsatz beantworten unterschiedliche Fragen. Latenz bezeichnet die Dauer eines Zeitintervalls, das einer festgelegten Anfrage, Aufgabe oder einem bestimmten Ereignis zugeordnet ist. Durchsatz beschreibt, wie viel innerhalb eines Zeitraums verarbeitet wird. Die für diesen Eintrag bereitgestellten Belege enthalten allerdings keine Quelle, die Einheiten oder eine spezifische technische Definition des Durchsatzes für KI-Systeme festlegt. Die Unterscheidung wird hier deshalb als begriffliche Orientierung dargestellt und nicht als Zitat einer universellen Norm.

Ein System kann über einen Zeitraum hinweg viele Anfragen verarbeiten, während eine einzelne Anfrage dennoch länger dauert, als Nutzende es für akzeptabel halten. Umgekehrt kann eine einzelne Antwort in einem Test schnell eintreffen, ohne dass das beweist, dass das System dieses Verhalten auch unter hoher Last aufrechterhält. Das sind mögliche Szenarien, die zeigen, warum eine Zeitdauer und eine über einen Zeitraum aufsummierte Verarbeitungsmenge nicht als Synonyme behandelt werden sollten.

Das erste Token ist ebenfalls nicht mit der vollständigen Antwort gleichzusetzen. Bei einer schrittweisen Ausgabe zeigt der erste Zeitpunkt, wann Inhalte verfügbar werden. Er sagt nicht, wie lange es bis zum Abschluss dauert oder ob der endgültige Inhalt den Anforderungen der Aufgabe genügt. Ebenso belegt ein Messwert für die Inferenz nicht automatisch, wie lange eine Person auf die Anwendung warten muss.

Latenz ist schließlich kein Maß für die Qualität einer Antwort. Eine schnelle Ausgabe kann falsch oder unvollständig sein. Eine langsamere Ausgabe wird nicht allein dadurch als gut bestätigt, dass ihre Erstellung länger gedauert hat. Für die Bewertung der Qualität sind andere Kriterien erforderlich; die hier verfügbaren Quellen bieten keine Methode zu ihrer Beurteilung.

Messwerte einordnen und ihre Grenzen verstehen

Ein einzelner Messwert beschreibt nicht das Verhalten bei allen Eingabe- und Ausgabegrößen, Netzwerkbedingungen, Lasten oder Konfigurationen. Er erlaubt auch nicht den Schluss, dass in anderen Umgebungen dieselbe Latenz zu beobachten ist. Um die Aussagekraft eines Werts zu beurteilen, müssen zunächst die Messdefinition und die Bedingungen geprüft werden, unter denen er ermittelt wurde.

Prüfe, ob die Dokumentation den Startpunkt, das Endereignis und die einbezogenen Verarbeitungsschritte nennt. Suche anschließend nach Angaben zur Größe der Ein- und Ausgaben, zur gleichzeitigen Last, zur Ausführungsumgebung und zu sonstigen Bedingungen, die die Quelle aufführt. Fehlen solche Angaben im verfügbaren Material, sollten sie nicht durch Vermutungen ergänzt werden. Halte stattdessen fest, dass sie nicht spezifiziert sind.

Auch die Art der Zusammenfassung ist wichtig. Eine einzelne Beobachtung und eine Verteilung aus mehreren Beobachtungen vermitteln unterschiedliche Informationen. Dieser Eintrag empfiehlt, das vor einem Vergleich zu prüfen. Die bereitgestellten Quellen schreiben jedoch weder eine bestimmte statistische Zusammenfassung vor noch erlauben sie, allgemeingültige Schwellenwerte festzulegen.

Die angegebene Fachliteratur zur Latenzoptimierung behandelt ein technisches Problem, doch der bereitgestellte Ausschnitt nennt keine Einzelheiten zu den Auswertungsbedingungen. Entsprechend ist die Forschungsarbeit zur Ausführung mehrerer Modelle im Edge-Computing als Forschungskontext relevant; der Ausschnitt reicht aber nicht aus, um ihre operative Definition zu rekonstruieren. Daher lassen sich aus diesen Ausschnitten weder Messwerte noch Ranglisten oder allgemeine Regeln ableiten.

Verwandte Begriffe und häufige Fehler

Inferenz bezeichnet den Vorgang, bei dem ein Modell aus einer Eingabe eine Ausgabe erzeugt. Inferenzlatenz ist die Zeit, die diesem Vorgang gemäß den von der messenden Stelle festgelegten Grenzen zugerechnet wird. Die Begriffe sind nicht gleichbedeutend: Der Name des Vorgangs legt das Zeitintervall und seine Bestandteile nicht automatisch fest.

Ein Token ist eine Einheit, die bei der Textdarstellung oder -generierung vorkommen kann. In diesem Eintrag bezeichnet „Zeit bis zum ersten Token“ einen vorgeschlagenen Zeitpunkt für die Messung einer schrittweisen Ausgabe. Das heißt weder, dass jede Antwort Token für Token ausgegeben wird, noch dass dieser Zeitpunkt ausreicht, um die gesamte Nutzererfahrung zu beurteilen.

Der Kontext-Cache ist ein verwandtes Konzept, bei dem Kontextinformationen in bestimmten Verarbeitungsabläufen wiederverwendet werden. Er ist keine Latenzeinheit. Um ihm eine Wirkung auf eine konkrete Messung zuzuschreiben, wären Dokumentation und vergleichbare Bedingungen erforderlich. Die bereitgestellten Quellen reichen weder aus, um eine solche Wirkung zu quantifizieren, noch um zu behaupten, dass sie bei allen Diensten auftritt.

Bei der KI-Evaluierung werden Eigenschaften einer Ausgabe oder eines Systems anhand festgelegter Kriterien untersucht. Eine Latenzmessung kann Teil einer Evaluierung sein, ersetzt aber keine Bewertung von Genauigkeit, Nützlichkeit oder Sicherheit. Hier liegen nicht genügend Quellen vor, um festzulegen, wie diese Eigenschaften bewertet werden sollten.

Praktische Kriterien für die Beschreibung und den Vergleich von Latenz

Damit eine Messung aussagekräftig beschrieben ist, sollten das Anfangs- und das Endereignis in beobachtbaren Begriffen festgehalten werden. Nenne außerdem, welche Komponente die jeweiligen Ereignisse erfasst und welche Verarbeitungsschritte innerhalb oder außerhalb der Grenzen liegen. Ist der erste Token der Endpunkt, sollte das ausdrücklich gesagt werden. Gilt die vollständige Antwort als Endpunkt, muss erklärt werden, woran ihr Abschluss erkannt wird. Vermeide die allgemeine Bezeichnung „Antwort“, wenn sie Verschiedenes bedeuten kann.

Ergänze die von der Quelle genannten Ausführungsbedingungen, etwa gleichzeitige Last oder die Größe von Eingabe und Ausgabe. Weise darauf hin, wenn diese Angaben fehlen. Halte fest, ob der Wert eine Einzelbeobachtung oder eine Zusammenfassung mehrerer Beobachtungen darstellt. Übertrage das Ergebnis nicht auf Bereiche, die durch den dokumentierten Umfang nicht abgedeckt sind.

Prüfe bei zwei zu vergleichenden Werten zuerst, ob sie dieselbe Frage beantworten und hinreichend ähnliche Zeitpunkte und Bedingungen verwenden. Misst der eine Wert die Zeit bis zum ersten Token und der andere die Zeit bis zum Abschluss der Antwort, müssen sie als unterschiedliche Messgrößen ausgewiesen werden. Bezieht sich ein Wert auf eine einzelne Komponente und der andere auf den gesamten Ablauf, sollte die Differenz ohne weitere Belege nicht einem bestimmten Modell zugeschrieben werden.

Zusammengefasst lässt sich Latenz ohne Kontext nicht richtig interpretieren: Sie ist die Zeit zwischen zwei festgelegten Zeitpunkten. Am sichersten ist es, diese Zeitpunkte zu benennen, den Umfang des Intervalls zu erläutern und alle Angaben als ungeklärt zu kennzeichnen, die anhand der konsultierten Dokumentation nicht verifiziert werden können.

Verwandte Begriffe