KI-Inferenz: Was geschieht, wenn ein Modell eine Eingabe verarbeitet?

Was Inferenz im maschinellen Lernen bedeutet

Im maschinellen Lernen bezeichnet Inferenz den Vorgang, ein trainiertes Modell zu verwenden, um aus einer Eingabe eine Ausgabe zu berechnen. Als Eingabe kann beispielsweise der Text einer Anfrage, ein Bild oder eine Wortfolge dienen. Welche Ausgabe entsteht, hängt von der Aufgabe und dem Aufbau des Modells ab: möglich sind eine Kategorie, ein Score, eine numerische Repräsentation oder generierter Inhalt. Deshalb sollte Inferenz nicht so definiert werden, als bestünde sie immer darin, eine einzelne Vorhersage oder eine Textantwort zu erzeugen.

Ein einfaches Bild des Vorgangs: Man kann sich das Modell als Funktion mit Parametern vorstellen, die während des Lernens angepasst wurden. Bei der Inferenz erhält das Modell einen Datenpunkt und führt damit seine Berechnungen aus, um eine Ausgabe zu erzeugen. Unter üblichen Bedingungen bedeutet die Nutzung des Modells auf diese Weise nicht, dass es erneut trainiert oder seine Parameter verändert werden. Hier ist jedoch eine Einschränkung wichtig: Manche Systeme werden während ihrer Nutzung aktualisiert oder kombinieren mehrere Verarbeitungsstufen. In solchen Fällen sollte beschrieben werden, welcher Vorgang tatsächlich stattfindet, statt eine ausnahmslose Trennung für das ganze System anzunehmen.

In technischer Dokumentation kann „Inferenz“ auch die Ausführung eines Modells innerhalb eines Systems bezeichnen. Zu diesem System können neben dem Modell eine Benutzeroberfläche, ein Dienst, Hardware und bestimmte Einstellungen gehören. Inferenz ist daher nicht unbedingt ein Bildschirm, auf dem eine Antwort erscheint. Es kann sich ebenso um einen internen Vorgang handeln, dessen Ergebnis ein anderes Programm weiterverarbeitet.

So funktioniert es: Eingabe, Berechnung und Ausgabe

Auf einer grundlegenden Ebene umfasst der Ablauf drei Teile. Zunächst nimmt ein System eine Eingabe entgegen und bereitet sie in einem Format auf, das das Modell verarbeiten kann. Anschließend berechnet das Modell auf Grundlage dieser Eingabe und seiner während des Trainings erworbenen Parameter ein Ergebnis. Zum Schluss interpretiert oder übermittelt das System die Ausgabe. Bei einem Textmodell kann die Vorbereitung zum Beispiel darin bestehen, den Text in verarbeitbare Einheiten aufzuteilen. Bei der Bildverarbeitung kann ein Bild an das erwartete Format angepasst werden. Die Einzelheiten richten sich nach dem konkreten System.

Die Vorbereitung der Eingabe und die Ausgabe der Ergebnisse sind wichtig, sollten aber nicht automatisch mit der Berechnung des Modells gleichgesetzt werden. Eine Anwendung kann vor oder nach dem Modellaufruf eigene Regeln anwenden, die Ergebnisse mit anderen Daten verbinden oder nur einen Teil der erzeugten Ausgabe anzeigen. Wer genau nachvollziehen möchte, was ein Dienst tut, muss deshalb unterscheiden, welche Schritte zum Modell und welche zur umgebenden Software gehören.

Dieses Schema bedeutet auch nicht, dass jede Eingabe stets eine einzige, identische Ausgabe hervorbringt. In manchen Systemen bestimmt die Konfiguration, wie die Ausgabe ausgewählt oder zusammengestellt wird. Bei der Textgenerierung kann ein einzelner Aufruf eine Folge von Tokens erzeugen. „Inferenz“ bezeichnet die Nutzung des Modells, nicht die Garantie, dass das Ergebnis deterministisch ist oder die Welt korrekt beschreibt.

Welche Arten von Ausgaben möglich sind

Eine häufige Ausgabe ist eine Klassenvorhersage, etwa die Zuordnung einer Anfrage zu einer Kategorie. Ebenso kann das Modell einer Option oder einem Beispiel einen Score zuweisen. Dieser Score sollte nicht automatisch als Wahrscheinlichkeit verstanden werden. Dafür müsste bekannt sein, was er abbildet, wie er berechnet wurde und ob er für den vorgesehenen Einsatzzweck kalibriert ist.

Andere Modelle erzeugen numerische Repräsentationen von Daten, die häufig Embeddings genannt werden. Eine solche Repräsentation kann in nachgelagerten Aufgaben eingesetzt werden, etwa zum Vergleichen von Elementen oder zum Abrufen ähnlicher Inhalte. Sie ist jedoch nicht unbedingt eine Antwort, die sich für Menschen unmittelbar lesen lässt. Die Bezeichnung „Inferenz“ kann die Berechnung einer solchen Repräsentation umfassen, auch wenn die praktische Anwendung anschließend weitere Schritte ausführt.

Bei einem generativen Modell kann die Ausgabe ein gegenüber der Eingabe neuer Inhalt sein, beispielsweise eine Textfortsetzung. „Neu“ beschreibt hier, dass das System eine Ausgabesequenz erzeugt. Daraus folgt nicht, dass der Inhalt im rechtlichen, sachlichen oder historischen Sinn originär ist. Ebenso wenig sagt die Bezeichnung für sich genommen aus, ob das Ergebnis wahr, nützlich oder angemessen ist.

Beispiel: Eine Kundenanfrage klassifizieren

Stellen wir uns vor, eine Organisation erhält Nachrichten und möchte sie an das passende Team weiterleiten. Der Text „Ich erkenne diese Belastung auf meiner Rechnung nicht“ wird in einen Klassifikator eingegeben, der für die Zuordnung zu Kategorien trainiert wurde. Während der Inferenz verarbeitet das Modell den Text und kann ein Label wie „Abrechnung“ zurückgeben, möglicherweise zusammen mit Scores für weitere Kategorien. Das Label kann als Vorschlag für den Bearbeitungsweg dienen, muss aber nicht die endgültige Entscheidung sein.

In einem realen Dienst könnte zunächst geprüft werden, ob die Nachricht verwertbaren Text enthält; danach könnten Weiterleitungsregeln angewendet werden. Ist die Nachricht mehrdeutig, existiert die erwartete Kategorie nicht oder ist das System nicht auf die betreffende Sprache ausgelegt, kann die Ausgabe den Fall möglicherweise nicht lösen. Das Beispiel veranschaulicht eine mögliche Anwendung von Klassifikation. Es behauptet nicht, dass jedes Sprachmodell oder jedes Kundenservicesystem über diese Fähigkeit verfügt.

Beispiel: Ein Objekt oder einen Defekt auf einem Bild lokalisieren

In einer industriellen Bildverarbeitungsanwendung könnte ein Bild eines Werkstücks an ein Modell übermittelt werden, das zur Erkennung von Defekten vorgesehen ist. Die Ausgabe könnte auf eine Klassifikation wie „Defekt“ oder „kein Defekt“ beschränkt sein oder zusätzlich Bereiche markieren, die das Modell für relevant hält. Was ein Modell zurückgeben kann, hängt von der Aufgabe ab, für die es entwickelt und trainiert wurde: Nicht jedes Bildverarbeitungsmodell lokalisiert Objekte, und nicht jedes System, das Bilder klassifiziert, bestimmt auch die Position eines Defekts.

In diesem Beispiel ist Inferenz die Berechnung, die beim Verarbeiten eines konkreten Bildes stattfindet. Kamera, Beleuchtungssteuerung, Vorverarbeitung und die Entscheidung, ein Werkstück auszusortieren, können zu unterschiedlichen Teilen des Systems gehören. Die Ausgabe des Modells beweist für sich genommen nicht, dass das Werkstück defekt ist. Wichtig sind die Aufnahmebedingungen, die berücksichtigten Kategorien und die gemessene Leistung in Situationen, die dem vorgesehenen Einsatz ähneln.

Beispiel: Eine Textfortsetzung erzeugen

Bei der Textgenerierung kann eine Person eine Anweisung und einen Kontext bereitstellen, woraufhin das Modell den Text fortsetzt. Auf die Eingabe „Fasse diesen Hinweis in zwei Sätzen zusammen:“ könnte das System beispielsweise einen Zusammenfassungsvorschlag erzeugen. Die Ausgabe muss in diesem Fall kein einzelnes Label sein; sie kann aus einer Tokenfolge bestehen, die einen Text bildet. Inferenz beschreibt die Ausführung des Modells mit dem verfügbaren Kontext, nicht die automatische Suche nach der wahren Antwort.

Ein Inferenzaufruf an ein Sprachmodell ist nicht zwangsläufig gleichbedeutend mit einer Aktualisierung des Modells durch das Gespräch. Bei der Beschreibung der Inferenz von Sprachmodellen wird die Generierung auf Basis neuer Anweisungen von einer Änderung der Parameter unterschieden. Dennoch kann der übermittelte Kontext die Antwort beeinflussen, und eine Anwendung kann Daten über Komponenten verwalten oder speichern, die nicht zur Berechnung des Modells gehören. „Das Modell wird bei diesem Aufruf nicht aktualisiert“ darf nicht mit „Das System speichert keinerlei Daten“ gleichgesetzt werden. Letzteres hängt vom Dienst und seinen Richtlinien ab.

Inferenz im Unterschied zu Training, Evaluation und Vorhersage

Beim Training werden die Parameter des Modells anhand von Daten und eines Lernverfahrens angepasst. Inferenz bedeutet im üblichen Sprachgebrauch des maschinellen Lernens, das daraus hervorgegangene Modell zu verwenden, um Ausgaben für Eingaben zu berechnen. In einer Beschreibung des überwachten Lernens lässt sich das Modell als Funktion mit Parametern auffassen, die ein Lernalgorithmus während des Trainings optimiert. Diese Unterscheidung ist nützlich, auch wenn manche Systeme Anpassung oder Online-Lernen einschließen. Dann muss genauer angegeben werden, wann das Modell aktualisiert wird.

Evaluation bedeutet, das Verhalten eines Modells oder Systems anhand festgelegter Daten und Kriterien zu messen. Eine solche Messung kann während der Entwicklung oder später stattfinden, ist aber nicht gleichbedeutend mit der Ausführung einer Inferenz. Eine Vorhersage ist eine mögliche Ausgabe des Vorgangs; „Inferenz“ bezeichnet den Prozess, bei dem ein Modell verwendet wird, um Ausgaben zu erhalten. In der Praxis werden die Begriffe mitunter weit gefasst. Daher lohnt es sich, in der jeweiligen Dokumentation nachzusehen, welche konkrete Operation gemeint ist.

In Statistik und Logik wird „Inferenz“ in einem breiteren Sinn verwendet: Gemeint ist häufig, aus Daten, Prämissen oder einem Modell der Unsicherheit Schlussfolgerungen abzuleiten. Bayes’sche Inferenz ist ein Beispiel für eine statistische Verwendung des Begriffs, die mit maschinellem Lernen in Verbindung steht. Nicht jede Erwähnung von Inferenz bedeutet also, ein trainiertes Modell auf eine neue Eingabe anzuwenden. Die Bedeutung richtet sich nach Fachgebiet und beschriebener Aufgabe.

Was eine Ausgabe nicht beweist

Dass ein Modell eine Ausgabe erzeugt hat, beweist nicht, dass diese korrekt ist. Ein Klassifikator kann sich irren, eine Lokalisierung kann am gesuchten Objekt vorbeigehen und ein generierter Text kann falsche Aussagen enthalten. Die Qualität hängt unter anderem von den Trainingsdaten und -zielen, der konkreten Eingabe, der Konfiguration und der Eignung des Modells für die Aufgabe ab. Aus diesen Faktoren lässt sich nicht ableiten, dass ein bestimmtes Ergebnis ohne Prüfung zuverlässig ist.

Auch ein Score sollte nicht mit einer kalibrierten Wahrscheinlichkeit gleichgesetzt werden, sofern Dokumentation und Validierung diese Interpretation nicht stützen. Ein Score kann ein nützliches Signal sein, um Optionen zu ordnen; Skala und Bedeutung können sich jedoch zwischen Systemen unterscheiden. Ebenso wenig ist eine Vorhersage eine kausale Erklärung oder eine unmittelbare Beobachtung der Realität: Sie ist eine vom Modell berechnete Ausgabe.

Auch die Repräsentativität ist wichtig. Weicht ein Bild, Text oder eine Anfrage von den Daten und Bedingungen ab, für die das System geprüft wurde, kann sich sein Verhalten unterscheiden. In Anwendungen mit erheblichen Auswirkungen kann es nötig sein, die Ausgabe durch Menschen überprüfen zu lassen, das System in der Einsatzumgebung zu testen und Verfahren für den Umgang mit Fehlern vorzusehen. Inferenz beschreibt einen rechnerischen Vorgang, nicht die Zertifizierung von Sicherheit, Fairness oder Gültigkeit.

Inferenzdienst, Latenz und Kosten

„Inferenzdienst“ bezeichnet häufig die Infrastruktur, über die Eingaben an ein Modell gesendet und Ausgaben empfangen werden. Ein solcher Dienst kann auf einem entfernten Server, lokal auf einem Gerät oder in einer anderen Umgebung ausgeführt werden. Der Dienst ist nicht mit dem Modell selbst identisch, auch wenn beide zur Nutzungserfahrung gehören. Um eine technische Beschreibung zu verstehen, muss unter Umständen geklärt werden, wo das Modell ausgeführt wird, welche Daten es erhält und welche Komponenten Eingaben oder Ausgaben verändern.

Latenz, Kosten und Speicherbedarf können beim Bereitstellen von Inferenz eine Rolle spielen, haben aber keine allgemeingültigen Werte. Sie hängen unter anderem vom Modell, der Hardware, der Größe von Eingaben und Ausgaben, der Konfiguration und der Arbeitslast ab. Wenn eine Dokumentation diese Herausforderungen erwähnt, folgt daraus weder, dass alle Modelle gleich viel kosten, noch, dass eine bestimmte Bereitstellungsform immer schneller ist. Für einen Vergleich müssen der Anwendungsfall genau beschrieben und die Bedingungen relevant gewählt werden.

Verwandte Begriffe und praktische Kriterien

Eine Vorhersage ist eine mögliche Ausgabeart; Generierung bezeichnet das Erzeugen von Inhalt; ein Embedding ist eine Repräsentation, die in weitere Prozesse eingehen kann. Training steht für die Anpassung des Modells, Evaluation für die Messung seines Verhaltens. Latenz ist die Zeit, die ein Vorgang unter bestimmten Bedingungen bis zur Antwort benötigt. Ein Inferenzdienst ist die Umgebung, die Anfragen entgegennimmt und die Berechnung ausführt oder koordiniert. Diese Begriffe können gemeinsam auftreten, sind aber nicht austauschbar.

Wenn du ein Modellprofil, eine API oder eine Beschreibung eines Modells liest, solltest du zuerst feststellen, welche Eingabe tatsächlich verarbeitet und welche Ausgabe zurückgegeben wird. Prüfe, ob das System ein unverändertes Modell ausführt oder ob während der Nutzung eine Aktualisierung stattfindet. Kläre, was Scores bedeuten und ob sie für die betreffende Aufgabe und die relevante Population evaluiert wurden. Bei generierten Texten ist Sprachfluss kein Beleg für Wahrheit. Bei einer Klassifikation sollte nicht vorausgesetzt werden, dass das Modell erklären oder lokalisieren kann, was es klassifiziert.

In Statistik, Logik und Bayes’schen Verfahren kann „Inferenz“ eine spezifische technische Bedeutung haben. Ist aus dem Text nicht ersichtlich, welche Verwendung gemeint ist, sollten Kontext, Verfahren und zugehörige Dokumentation herangezogen werden. Die geprüfte Dokumentation ermöglicht eine Beschreibung der allgemeinen Idee, ein trainiertes Modell zu verwenden, und macht auf spezielle Verwendungen aufmerksam. Sie liefert jedoch weder eine einzige Definition für alle Fachgebiete noch eine abschließende Klärung aller Fälle adaptiver Systeme.

Verwandte Begriffe