KI-Aussagen prüfen: ein Verfahren für die Entscheidung, was bleibt, korrigiert oder zurückgezogen wird

Eine überzeugende Antwort ist noch keine belegte Antwort

Eine KI-Antwort kann präzise klingen und trotzdem ein falsches Datum enthalten, die Aussage einer Quelle übertreiben oder eine Information einem Dokument zuschreiben, das sie gar nicht belegt. Um solche Antworten sorgfältig zu prüfen, solltest du drei Fragen auseinanderhalten: Ist die Aussage wahr? Gibt es die zitierte Quelle, und ist sie relevant? Belegt die zitierte Passage genau das, was behauptet wird? Diese Prüfungen hängen zusammen, sind aber nicht dasselbe.

Ein Zitat kann echt sein und auf eine seriöse Quelle verweisen, ohne die konkrete Behauptung zu belegen. Das Dokument könnte einen anderen Zeitraum, eine andere Bevölkerungsgruppe, einen anderen Ort oder eine andere Kennzahl behandeln. Es kann auch eine Schlussfolgerung mit Vorbehalten präsentieren, die in der KI-Antwort fehlen. Zu prüfen, ob ein Link funktioniert, ist deshalb nur der Anfang: Du musst die relevante Passage finden und mit dem vollständigen Wortlaut der Behauptung vergleichen.

KI kann dabei helfen, mögliche Quellen zu finden, Aussagen zu trennen und lange Dokumente zusammenzufassen. Die redaktionelle Entscheidung sollte sich jedoch auf die zugrunde liegende Quelle und die Lektüre der relevanten Passage stützen – nicht auf die Sicherheit des Modells oder dessen Zusammenfassung. Die europäischen Leitlinien für vertrauenswürdige KI nennen Transparenz, Nachvollziehbarkeit, menschliche Aufsicht und Überprüfbarkeit als allgemeine Grundsätze; ein bestimmtes Verfahren zur Validierung von Zitaten schreiben sie nicht vor. Dieser Leitfaden schlägt ein eigenes praktisches Verfahren vor, keinen zertifizierten Standard.

Lege fest, was du prüfst und wie viel Aufwand es verdient

Zerlege die Antwort zunächst in Aussagen, die sich unabhängig voneinander bewerten lassen. „Der Vorschlag ist attraktiv“ ist eine Wertung; „der Tarif umfasst fünf Konten“ ist überprüfbar. Daten, Zahlen, Namen, Anforderungen, Zuschreibungen, Zitate, Kausalbehauptungen und Beschreibungen von Funktionen lassen sich häufig überprüfen. Ein zusammengesetzter Satz kann mehrere Behauptungen enthalten: Bei „Die Studie von 2024 befragte 2.000 Personen und zeigt, dass das Programm die Produktivität gesteigert hat“ müssen das Datum, die Stichprobengröße und die kausale Schlussfolgerung getrennt geprüft werden.

Nicht jede Aussage erfordert denselben Aufwand. Priorisiere, was die Schlussfolgerung trägt, im Fehlerfall Schaden verursachen könnte oder besonders spezifisch beziehungsweise veränderlich ist. Eine Zahl, die eine Entscheidung begründet, eine rechtliche Auslegung oder eine sensible Aussage über Personen verdient eine gründlichere Prüfung als eine nebensächliche Kontextbeschreibung. Diese Priorisierung ist eine praktische Arbeitsregel und keine durch die verfügbaren Quellen validierte Skala.

Lege vor der Suche fest, welche Belege die Frage klären würden: Welches Dokument wäre unmittelbar maßgeblich, welche Passage müsste darin zu finden sein, und welche Bedingungen – etwa Datum, Gebiet, Bevölkerungsgruppe, Version oder Definition – könnten das Ergebnis verändern? Ein solches Kriterium verhindert, dass du nur nach Bestätigung suchst, und hilft dir zu erkennen, wann eine Quelle nicht ausreicht.

Prüfverfahren für jede Aussage: von der Quelle zur Entscheidung

Kopiere die Aussage im genauen Wortlaut und weise ihr eine Kennung zu. Suche dann die Quelle, die unmittelbaren Zugang zu den betreffenden Informationen hat: den Originalbericht, eine amtliche Datenbank, den einschlägigen Gesetzestext, die Produktdokumentation oder den relevanten Primärdatensatz. Eine Seite, die eine Studie zitiert, kann bei der Suche helfen, ersetzt die Studie aber nicht automatisch. Ist die Originalquelle nicht verfügbar, halte diese Einschränkung fest, statt ihren Inhalt als geprüft zu behandeln.

Öffne das Dokument und suche die genaue Stelle, Tabelle oder Passage. Prüfe, ob der Inhalt die gesamte Aussage oder nur einen Teil davon stützt. Achte auf Bedingungen, Definitionen, Ausnahmen und Reichweite: Ein Zusammenhang belegt nicht zwingend eine Ursache; ein Ergebnis für eine Teilgruppe gilt nicht automatisch für die gesamte Bevölkerung; eine Kennzahl aus einem bestimmten Jahr darf nicht ohne Prüfung als aktuell dargestellt werden. Halte genügend Kontext fest, damit eine andere Person die Prüfung wiederholen kann.

Dokumentiere außerdem das Abrufdatum und Angaben, die sich ändern können. Verweisen zwei Seiten auf dieselbe Originalstudie, solltest du sie nicht als unabhängige Bestätigungen zählen: Es sind zwei Wege zu demselben Beleg. Widersprechen sich Quellen, prüfe, ob sie sich nach Datum, Methode, Definition oder Bevölkerungsgruppe unterscheiden. Lässt sich der Konflikt anhand der verfügbaren Belege nicht klären, bewahre die Unsicherheit oder verzichte darauf, die Aussage als Entscheidungsgrundlage zu verwenden.

Ordne den Befund ein, ohne Zweifel mit Falschheit gleichzusetzen

Für die redaktionelle Arbeit ist eine Skala hilfreich, die direkte Belege, teilweise Belege, Widerspruch, unzureichende Quellen und nicht überprüfbare Aussagen unterscheidet. „Direkt belegt“ bedeutet, dass die geprüften Belege die Aussage innerhalb der passenden Reichweite und unter den zutreffenden Bedingungen stützen. „Teilweise belegt“ heißt, dass nur ein Teil gestützt wird oder ein wichtiger Vorbehalt in der Formulierung fehlt. „Widerlegt“ setzt Belege voraus, die der Aussage unter den relevanten Bedingungen entgegenstehen; es bedeutet nicht bloß, dass die prüfende Person keine Bestätigung gefunden hat.

„Unzureichende Quelle“ beschreibt ein Problem mit der verfügbaren Evidenz: Eine Seite erwähnt beispielsweise das Thema, liefert aber keine Daten, die die Schlussfolgerung stützen. „Nicht überprüfbar“ kann passen, wenn die Aussage zu vage ist, keinen Zeitraum nennt oder sich auf vernünftigem Weg nicht gegenprüfen lässt. Keine dieser Einstufungen beweist automatisch, dass der Inhalt falsch ist. Trenne den Stand der Evidenz vom Urteil über die Wahrheit.

Die Maßnahme sollte zum Befund passen. Behalte eine direkt belegte Aussage bei; korrigiere oder begrenze eine teilweise belegte Aussage; entferne eine widersprochene Aussage oder formuliere sie vorsichtig; suche bei unzureichender Quelle nach weiteren Belegen oder erläutere die Einschränkung; und stelle eine nicht überprüfbare Behauptung nicht als Tatsache dar. Bei Entscheidungen mit großen Auswirkungen sollte eine fachkundige Person die Prüfung übernehmen.

Prüfvorlage, mit der andere die Kontrolle wiederholen können

Eine Prüfung ist nachvollziehbar, wenn eine andere Person die Aussage finden, die Quelle abrufen und die Gründe für die Entscheidung verstehen kann. Halte den ursprünglichen Wortlaut und die korrigierte Fassung fest, damit Änderungen nachvollziehbar bleiben. Notiere den Titel oder die Kennung der Quelle, die genaue Fundstelle – zum Beispiel Abschnitt oder Tabelle –, soweit verfügbar das Veröffentlichungs- oder Aktualisierungsdatum sowie das Abrufdatum.

Ergänze die relevante Passage oder eine präzise Angabe dazu, wo sie zu finden ist, und halte die Belegbewertung sowie die festgestellten Einschränkungen fest. Eine Linkliste reicht nicht aus: Führt ein Link zu einer umfangreichen Seite, muss eine andere Person wissen, welcher Abschnitt verwendet und wie er ausgelegt wurde. Bei sensiblen Inhalten solltest du gemäß dem Verfahren deines Teams dokumentieren, wer geprüft und wer die Verwendung freigegeben hat.

Nachvollziehbarkeit hilft dabei, Änderungen zu prüfen und Fehler zu korrigieren, garantiert aber nicht, dass die ursprüngliche Auslegung richtig war. Wenn sich eine Quelle ändert, eine frühere Version nicht mehr verfügbar ist oder die Bewertung von einer Übersetzung abhängt, halte das fest und stelle die Dokumentation nicht als absolute Gewissheit dar.

Prüfe das Verfahren anhand bekannter Fälle und berücksichtige seine Grenzen

Bevor du das Verfahren für echte Entscheidungen einsetzt, wende es auf eine kleine Auswahl von Antworten an, deren Quellen und Probleme dem Team bereits bekannt sind. Nimm nicht existierende Zitate, echte Zitate, die die Schlussfolgerung nicht stützen, teilweise korrekte Aussagen, veraltete Angaben und Fälle ohne ausreichende Belege auf. Ziel ist nicht, die allgemeine Zuverlässigkeit des Modells zu beweisen, sondern zu prüfen, ob das Verfahren konkrete Fehler erkennt und eine verständliche Dokumentation hinterlässt.

Erfasse getrennt Belegfehler – die Quelle existiert, stützt aber nicht die ihr zugeschriebene Aussage –, fehlerhafte Zitate, Korrekturen und Fälle, in denen auf eine Aussage verzichtet wird. Prüfe außerdem, ob verschiedene Personen mit denselben Anweisungen und Dokumenten zu vergleichbaren Einstufungen gelangen. Eine Trefferquote aus einer kleinen Stichprobe kann helfen, das Verfahren zu verbessern. Sie ist jedoch keine Garantie für die allgemeine Qualität des Modells und lässt sich nicht ohne Weiteres auf andere Themen, Sprachen oder Risikostufen übertragen.

Auch mit einer Vorlage bleiben Grenzen bestehen. Manche Quellen sind unzugänglich oder unvollständig; zusammengesetzte Aussagen erfordern mehrere Prüfungen; Quellen können aufgrund unterschiedlicher Definitionen oder Zeiträume voneinander abweichen; und Prüfende können einem Zitat zu sehr vertrauen, ohne es zu lesen. Die Orientierungshilfe von CIAEM empfiehlt, Informationen gegenzuprüfen sowie Existenz und Übereinstimmung von Referenzen zu prüfen, validiert das hier vorgeschlagene Verfahren aber nicht technisch. Wenn die Belege die Frage nicht klären, solltest du benennen, was noch fehlt, eine zusätzliche Prüfung anfordern oder auf eine Aussage verzichten.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.