Definition in einem Satz
Fase inicial de entrenamiento a gran escala que aprende patrones generales antes de ajustes o usos especializados.
Definition: Was bedeutet Vortraining?
Vortraining ist eine Trainingsphase, in der ein Modell trainiert wird, bevor es für bestimmte Aufgaben eingesetzt oder für eine spätere Verwendung angepasst wird. Das Wort „vor“ bezeichnet die Position im Verhältnis zu einer späteren Phase oder einem nachfolgenden Zweck. Es bedeutet weder, dass das System zuvor noch nie trainiert wurde, noch dass es für alle Modelle eine verbindliche Abfolge gibt.
Das Glossar des National Institute of Standards and Technology der Vereinigten Staaten (NIST) definiert Vortraining im maschinellen Lernen als einen Trainingsschritt, in dem ein Allzweckmodell mit öffentlich verfügbaren Daten trainiert wird. Es ergänzt, dass ein solches Modell manchmal als Foundation Model bezeichnet wird. Das ist eine knappe und hilfreiche Definition, beschreibt aber nicht alle möglichen Varianten und legt nicht fest, dass jedes Vortraining öffentliche Daten verwendet. Daraus folgt auch nicht, dass „Foundation Model“ und „Vortraining“ Synonyme sind: Der eine Begriff kann das Modell bezeichnen, der andere eine Phase seines Trainings.
Vereinfacht gesagt erhält ein System Daten und wird anhand eines bestimmten Lernziels trainiert. Das Ergebnis kann ein Modell sein, das wiederverwendet, angepasst oder für eine Aufgabe ausgewertet wird. Daten, Lernziel, Architektur und Art der späteren Nutzung unterscheiden sich von Projekt zu Projekt. Die Bezeichnung „vortrainiert“ informiert daher über die Trainingsgeschichte eines Modells. Sie verrät allein jedoch nicht, was es gelernt hat, mit welchen Daten es trainiert wurde, wie gut es ist oder für welche Situationen es sich eignet.
Allgemeines Schema: Daten, Lernziel und Wiederverwendung
Ein praktischer Zugang besteht darin, vier Fragen getrennt zu betrachten. Erstens: Welche Daten werden dem Modell präsentiert? Zweitens: Welches Lernziel steuert das Training? Drittens: Welche Veränderung am Modell soll erreicht werden? Und viertens: Was geschieht danach mit dem Ergebnis? Diese Fragen helfen dabei, Vortraining nicht so zu behandeln, als bezeichne es einen bestimmten Algorithmus.
Bei manchen Systemen kann das Lernziel darin bestehen, Teile der Daten vorherzusagen oder zu rekonstruieren. Bei anderen kann das Modell eine Repräsentation lernen, die später auf andere Weise genutzt wird. Das sind allgemeine Möglichkeiten, keine vollständige Liste und keine Behauptung, dass jedes Vortraining so funktioniert. Die Arbeit zum unüberwachten generativen Vortraining von Sprache stellt beispielsweise eine konkrete Strategie für diesen Bereich vor. Titel und Beschreibung der Arbeit rechtfertigen jedoch nicht, diese Strategie zur Definition des gesamten Fachgebiets zu machen.
Das Ergebnis kann als Ausgangspunkt für eine spätere Anpassung, eine Auswertung oder weitere Trainingsphasen dienen. Es kann auch kontinuierliches oder multimodales Vortraining geben: Ein Leitfaden der NeurIPS befasst sich ausdrücklich mit kontinuierlichem multimodalem Vortraining. Das relativiert die vereinfachte Darstellung „zuerst eine Anfangsphase, danach Feinabstimmung“: Sie beschreibt eine mögliche, aber keine zwingend vorgeschriebene Abfolge.
Der folgende vereinfachte Prozess ist eine begriffliche Orientierung. Er nennt weder Hyperparameter noch Größen von Datensätzen und stellt keine technische Abfolge dar, die sich auf alle Modelle übertragen lässt.
Begriffliche Orientierung, kein Rezept
Die Abfolge stellt Entscheidungen dar, die beim Beschreiben von Vortraining häufig eine Rolle spielen. In einem realen System können einzelne Schritte wiederholt werden, ihre Reihenfolge kann sich ändern oder manche Schritte können entfallen.
- 01Festlegen, welche Datenfamilie verwendet werden soll und welche Fähigkeit gelernt oder verbessert werden soll.
- 02Ein Lernziel auswählen, das zur Architektur und zum vorgesehenen Einsatz passt.
- 03Das Modell trainieren und das erreichte Ergebnis auswerten; weder Trainingsdauer noch Datenmenge belegen für sich genommen Qualität.
- 04Entscheiden, ob das Modell wiederverwendet, in einer weiteren Phase angepasst oder in einer konkreten Auswertung beziehungsweise Anwendung eingesetzt wird.
Drei Beispiele, um den Begriff zu verstehen
Die folgenden Beispiele sind erklärende Szenarien. Sie zeigen, wie sich die Beschreibung je nach Modalität verändert, dokumentieren aber weder einen bestimmten Datensatz noch ein bestimmtes Verfahren für ein konkretes Projekt. Die für diesen Artikel geprüften Belege stützen ein Sprachbeispiel sowie die Existenz von Forschung zu klinischem und multimodalem Vortraining. Sie enthalten nicht genügend Einzelheiten, um die Verfahren der einzelnen Fälle zu rekonstruieren.
blocks
Vortraining, Foundation Model und Feinabstimmung
Vortraining bezeichnet eine Trainingsphase oder einen Trainingsprozess. Foundation Model bezieht sich üblicherweise auf ein Allzweckmodell, das als Grundlage für spätere Anwendungen dienen kann. Das NIST weist darauf hin, dass ein in einer Vortrainingsphase trainiertes Allzweckmodell manchmal als Foundation Model bezeichnet wird. Das „manchmal“ ist dabei wichtig: Die Formulierung stellt keine vollständige Gleichsetzung der Begriffe her.
Feinabstimmung oder Fine-Tuning ist eine Form der späteren Anpassung eines Modells durch zusätzliches Training. Häufig geht man von einem vortrainierten Modell aus und setzt sein Training fort, um es auf eine spezifischere Aufgabe oder einen bestimmten Kontext auszurichten. Ein vortrainiertes Modell muss jedoch nicht zwangsläufig feinabgestimmt werden, und nicht jeder spätere Prozess muss so bezeichnet werden. Die Sekundärquelle von Lenovo beschreibt Vortraining als Training mit umfangreichen Daten und erwähnt eine spätere Anpassung. Diese Erklärung reicht jedoch nicht aus, um eine allgemeingültige technische Definition festzulegen.
Auch selbstüberwachtes Lernen ist kein Synonym für Vortraining. „Vortraining“ bezeichnet die Position oder Funktion einer Phase; „selbstüberwacht“ beschreibt eine Gruppe von Verfahren, bei denen Lernsignale aus den Daten selbst gewonnen werden, statt zwingend für jedes Beispiel auf eigens erstellte Labels angewiesen zu sein. Wenn es zutrifft, kann ein System mit beiden Begriffen beschrieben werden. Der eine Begriff lässt sich aber nicht automatisch aus dem anderen ableiten. Das Beispiel des generativen unüberwachten Sprachlernens dokumentiert einen bestimmten Ansatz und keine Regel für alle Modalitäten.
Inferenz ist die Verwendung eines bereits trainierten Modells, um aus einer Eingabe eine Ausgabe zu erzeugen, etwa eine Antwort oder eine Vorhersage. Sie ist nicht mit Training gleichzusetzen: Bei der Inferenz geht es unmittelbar um die Nutzung des Modells, nicht darum, es in einer neuen Lernphase zu aktualisieren. In der Praxis kann ein Produkt Inferenz mit Werkzeugen, Informationsabruf oder anderen Komponenten verbinden. Eine beobachtete Antwort allein zeigt daher nicht, wie das Modell vortrainiert wurde.
Nahe verwandte Begriffe unterscheiden
Die Tabelle fasst die funktionalen Unterschiede zusammen. Ein konkretes System kann mehrere Phasen kombinieren; für eine korrekte Einordnung muss seine technische Dokumentation herangezogen werden.
| Begriff | Was er beschreibt | Hilfreiche Frage |
|---|---|---|
| Vortraining | Eine Trainingsphase, die einem späteren Zweck oder einer späteren Anpassung vorausgeht. | Welches Lernziel und welche Daten wurden in dieser Phase verwendet? |
| Foundation Model | Ein Allzweckmodell, das als Grundlage dienen kann; der Begriff bezeichnet für sich genommen kein bestimmtes Verfahren. | Welche Fähigkeiten und Einsatzmöglichkeiten belegt die Auswertung? |
| Feinabstimmung | Zusätzliches Training, um ein Modell an eine Aufgabe oder einen Kontext anzupassen. | Was hat sich während der Anpassung verändert, und mit welchen Belegen wurde das bewertet? |
| Selbstüberwachtes Lernen | Eine Art, aus den Daten Lernsignale abzuleiten; begrifflich nicht zwingend eine chronologische Phase. | Woher stammen die Signale, die das Lernen steuern? |
| Inferenz | Verwendung des Modells, um aus einer Eingabe eine Ausgabe zu erzeugen, ohne dass dies bedeutet, dass gerade trainiert wird. | Welche Eingabe wurde verarbeitet, und welche Komponenten waren an der Ausgabe beteiligt? |
Was sich aus Vortraining nicht ableiten lässt
Dass ein Modell vortrainiert ist, garantiert nicht, dass es korrekt antwortet, sicher ist, in jeder Sprache oder Modalität funktioniert oder sich für einen bestimmten Kontext eignet. „Vortrainiert“ beschreibt eine Trainingsgeschichte oder Entwicklungsphase, ist aber kein Qualitätssiegel. Der Nutzen muss mit Prüfungen bewertet werden, die zum vorgesehenen Einsatz passen, und anhand von Informationen über das Verhalten des Modells.
Die Qualität lässt sich auch nicht allein aus der Größe des Datensatzes, der Trainingsdauer oder der öffentlichen Verfügbarkeit der Daten ableiten. Die Definition des NIST erwähnt öffentlich verfügbare Daten. Daraus folgt weder, dass jede Phase solche Daten verwendet, noch dass öffentliche Verfügbarkeit Repräsentativität, eine zulässige Nutzung, Fehlerfreiheit oder gute Leistung sicherstellt. Für diese Fragen braucht es konkrete Belege zu den Daten und zum System.
Die Zusammenstellung des Datensatzes kann die Ergebnisse beeinflussen. Eine Arbeit der Association for Computational Linguistics zur Konstruktion von Vortrainingsdatensätzen behandelt unter anderem Deduplizierung und Filterung. Das ist ein Grund, die Aufbereitung von Daten als relevanten Aspekt zu betrachten. Daraus folgt jedoch nicht, dass es ein allgemeingültiges Filter- oder Deduplizierungsrezept gibt, das bei jedem Projekt bessere Ergebnisse garantiert.
Ebenso sollte man nicht behaupten, Vortraining erzeuge automatisch allgemeine Kompetenz. Der JMLR-Artikel zur Rolle des Vortrainings untersucht ausdrücklich, welche Rolle Vortraining beim kontinuierlichen Lernen spielt. Dass diese Frage in der Forschung behandelt wird, ist ein guter Grund, eine intuitive Annahme nicht als Garantie auszugeben: Fähigkeiten und Grenzen müssen für das jeweilige Modell und die jeweilige Aufgabe belegt werden.
Häufige Missverständnisse und praktische Kriterien
Ein häufiges Missverständnis besteht darin, jedes frühere Lernen „Vortraining“ zu nennen, ohne anzugeben, welcher Phase es vorausgeht. Ein weiteres ist die Annahme, alle Modelle durchliefen dieselbe Abfolge: anfängliches Training, Feinabstimmung und anschließende Nutzung. Die Forschung zu kontinuierlichem multimodalem Vortraining zeigt, dass auch Prozesse untersucht werden, die sich nicht ohne Weiteres in dieses lineare Schema einordnen lassen.
Auch Umfang und Qualität werden verwechselt: Ein großer Datensatz belegt für sich genommen weder, dass die Daten geeignet sind, noch dass das Modell gut generalisiert. Ebenso ist ein Lernziel nicht mit einer Garantie für bestimmte Fähigkeiten gleichzusetzen. Aussagen über Ergebnisse sollten durch Auswertungen gestützt werden und sich nicht allein aus dem Namen der Technik ableiten.
Wer ein Modellprofil liest oder Basismodelle vergleicht, sollte prüfen, was „vortrainiert“ in genau diesem Fall bedeutet. Achte auf die beschriebene Modalität und Art der Daten, das Lernziel, die Frage, ob es sich um eine einzelne oder kontinuierliche Phase handelt, spätere Anpassungen und die Auswertungen, die die behaupteten Fähigkeiten stützen. Sind diese Angaben nicht verfügbar, lässt sich das Verfahren aus der Bezeichnung allein nicht bestimmen.
Zusammengefasst kann Vortraining eine wiederverwendbare Grundlage schaffen. Seine konkrete Funktion hängt jedoch vom Design und von der verfügbaren Evidenz ab. Wer Phase, Lernziel, Modell und spätere Nutzung auseinanderhält, schreibt dem Begriff nicht mehr Aussagekraft zu, als er tatsächlich hat.
Quellen und Umfang dieses Artikels
Die einführende Definition stützt sich auf das Glossar des NIST. Für den Kontext der Datenkonstruktion wird die wissenschaftliche Arbeit der Association for Computational Linguistics herangezogen; für das Sprachbeispiel der Artikel von Radford und Mitautoren. Für Grenzen und Varianten dienen die in den geprüften Quellen enthaltenen Arbeiten von JMLR und NeurIPS als Kontext. Der Artikel zum klinisch relevanten Vortraining belegt, dass es biomedizinische Forschung auf diesem Gebiet gibt. Die für diesen Artikel verfügbaren Informationen reichen jedoch nicht aus, um das Verfahren im Einzelnen darzustellen.
Deshalb wird das Beispiel aus der Bildverarbeitung ausdrücklich als begriffliche Illustration und nicht als dokumentierter Fall präsentiert. Den Artikeln werden auch keine Ergebnisse, Datensätze oder Mechanismen zugeschrieben, die durch die verfügbaren geprüften Informationen nicht gestützt sind. Diese Vorsicht ist besonders wichtig, wenn Modelle verglichen werden: Eine Quelle zu einer bestimmten Technik belegt nicht, dass diese Technik universell ist.