KI-Agenten, die Datensätze ändern: Wer trägt nach dem AI Act die Verantwortung?

Der Fall: eine Anfrage, ein Werkzeug und ein geänderter Datensatz

Nehmen wir an, eine Person bittet darum, die Adresse eines Kunden zu aktualisieren. Ein Agent interpretiert die Anfrage, fragt ein Unternehmenssystem ab, prüft einige Angaben und sendet eine Anweisung, die den Datensatz ändert. Die Rechtsfrage lässt sich weder dadurch beantworten, dass man das System „Agent“ nennt, noch allein dadurch, dass es ohne Bestätigung bei jedem einzelnen Schritt handelt. Zunächst ist zu klären, welches System in Betrieb genommen wurde, zu welchem Zweck und von welcher Organisation.

Die Verordnung (EU) 2024/1689, bekannt als AI Act, schafft keine eigenständige Regulierungskategorie für Agenten. Die Kommission weist darauf hin, dass ein Agent in der Regel mindestens ein KI-Modell für allgemeine Zwecke enthält und ein KI-System darstellen kann. Daraus folgt jedoch nicht, dass jeder Agent als technische Gesamtlösung oder kommerzielles Produkt zwangsläufig eine einheitliche Einstufung hat: Es können mehrere Systeme, Komponenten und Organisationen mit unterschiedlichen Aufgaben beteiligt sein.

Für die Analyse des Beispiels muss der konkrete Ablauf beschrieben werden: Wer stellt das System bereit, wer konfiguriert es, welche Werkzeuge verbindet es, wer genehmigt Anweisungen und welche Entscheidung führt zur Änderung? Ebenfalls relevant ist, ob der Agent lediglich einen Vorschlag vorbereitet oder die Änderung ausführt und ob es um eine gewöhnliche Verwaltungsaufgabe oder um eine Tätigkeit in einem vom AI Act erfassten Bereich geht. Die externe Aktion ist für die operative Analyse relevant, reicht für sich genommen aber nicht aus, um das System als Hochrisiko-KI-System einzustufen.

Die folgende Darstellung ist eine allgemeine Orientierung zum AI Act und keine rechtliche Beurteilung einer konkreten Implementierung. Die Rollenverteilung hängt von überprüfbaren Tatsachen und dem Verhältnis der Beteiligten zueinander ab – nicht allein davon, welche interne Produktbezeichnung verwendet wird.

System, Modell, Agent und Rollen: unterschiedliche Begriffe

Der AI Act definiert ein „KI-System“ anhand von Merkmalen wie verschiedenen Autonomiegraden, der Fähigkeit zur Inferenz und der Erzeugung von Ergebnissen – etwa Vorhersagen, Inhalten, Empfehlungen oder Entscheidungen –, die physische oder virtuelle Umgebungen beeinflussen können. Die Kommission hat Leitlinien veröffentlicht, die bei der Auslegung dieser Definition helfen sollen. Maßgeblich sind die konkrete Lösung und ihre Fähigkeiten, nicht eine Marktbezeichnung wie „Agent“, „Copilot“ oder „intelligente Automatisierung“.

Ein KI-Modell und ein KI-System sind nicht dasselbe. Ein Modell kann Bestandteil eines Systems sein; zum System gehören auch die Art der Integration, der Bereitstellung und der Nutzung des Modells. „Agent“ beschreibt wiederum meist eine Architektur oder Funktionsweise, die ein Modell, Anweisungen, Werkzeuge, Speicher und Ausführungsmechanismen kombinieren kann. Diese technische Beschreibung ersetzt nicht die Begriffsbestimmungen der Verordnung.

Ein „Anbieter“ ist im Allgemeinen, wer ein KI-System oder ein KI-Modell für allgemeine Zwecke entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Marke auf den Markt bringt oder in Betrieb nimmt, soweit die Voraussetzungen der Verordnung erfüllt sind. „Betreiber“ ist, wer das System in eigener Verantwortung nutzt; die Ausnahme betrifft den persönlichen, nicht beruflichen Gebrauch. Welche Rolle eine Organisation hat, hängt von ihrem tatsächlichen Handeln und davon ab, wie sie das Produkt anbietet oder einsetzt. Bei verschiedenen Komponenten derselben Lösung können unterschiedliche Rollen vorliegen.

„Integrator“ ist im AI Act für sich genommen keine allgemeine Betreiberkategorie, die einem Anbieter oder Betreiber gleichgestellt wäre. Ein Unternehmen, das Werkzeuge verbindet, kann lediglich ein System integrieren; abhängig von den Umständen können seine Tätigkeiten aber auch eine andere Rolle begründen. Artikel 25 sieht Fälle vor, in denen ein Händler, Importeur, Betreiber oder sonstiger Dritter als Anbieter eines Hochrisiko-KI-Systems gilt, etwa wenn er es unter eigenem Namen vermarktet, wesentlich verändert oder seinen vorgesehenen Zweck so ändert, dass es zu einem Hochrisiko-KI-System wird. Nicht jede Konfiguration oder Integration hat automatisch diese Wirkung.

Im Beispiel könnte Anbieter sein, wer das agentische System unter eigener Marke anbietet; das Kundenunternehmen könnte Betreiber sein, wenn es das System in eigener Verantwortung nutzt; und ein Technologieunternehmen könnte Integrationsleistungen erbringen. Diese Bezeichnungen sind jedoch Arbeitshypothesen und keine abschließenden Feststellungen: Verträge, Marktauftritt, Kontrolle über die Gestaltung und vorgenommene Änderungen können die Einordnung beeinflussen.

Der Zweck – nicht die Autonomie allein – leitet die Einstufung

Der AI Act stuft nicht jedes System mit Autonomie, Werkzeugzugriff oder externen Auswirkungen als Hochrisiko-KI-System ein. Die Einstufung richtet sich nach den in der Verordnung festgelegten Kriterien und Bereichen. Entscheidend ist insbesondere, ob das System Sicherheitsbauteil eines von den aufgeführten Rechtsvorschriften erfassten Produkts ist oder zu einem der Anwendungsfälle in Anhang III gehört; dabei sind die geltenden Bedingungen und Ausnahmen zu berücksichtigen.

Im Beispiel lässt sich aus der Änderung eines Kundendatensatzes allein nicht schließen, dass ein Hochrisiko-KI-System vorliegt. Zu bestimmen sind der vorgesehene Zweck des Systems sowie der Sektor und der Prozess, in dem es eingesetzt wird. Die Analyse könnte anders ausfallen, wenn das System etwa für eine ausdrücklich in einem Anwendungsbereich des Anhangs III erfasste Funktion verwendet wird oder Teil eines Produkts ist, das im Sinne der Verordnung reguliert wird. Weder die Verarbeitung personenbezogener Daten noch Automatisierung oder die geschäftliche Bedeutung einer Aktion reichen für sich genommen aus.

Der vorgesehene Zweck ergibt sich daraus, was der Anbieter mit dem System erreichen will, wie es in Anweisungen, technischen Unterlagen und Vermarktungsmaterial beschrieben ist, sowie aus dem gegebenenfalls maßgeblichen Nutzungskontext. Davon zu unterscheiden ist eine tatsächliche Nutzung, die vom vorgesehenen Zweck abweicht. Ändert der Betreiber das System oder dessen Zweck, kann eine erneute Prüfung sowohl der Einstufung als auch der Frage erforderlich sein, wer Anbieterpflichten übernimmt.

Die Kommission weist darauf hin, dass Agenten häufig mindestens ein KI-Modell für allgemeine Zwecke enthalten und ein KI-System darstellen können. Praktisch bedeutet das, die für das Modell geltenden Regeln und die Regeln für das integrierte System getrennt zu prüfen. Aus dem Vorhandensein eines Modells für allgemeine Zwecke folgt nicht automatisch die Einstufung des Gesamtsystems.

Autonomie ist durchaus relevant, um die Funktionsweise zu beschreiben und angemessene Kontrollen zu beurteilen. Es macht beispielsweise einen Unterschied, ob das System eine Änderung vorschlägt, die ein Mensch ausführt, ob es sie nach einer konkreten Freigabe umsetzt oder ob es dies automatisch tut. Das kann die operative Bewertung beeinflussen, ersetzt aber nicht die rechtlichen Einstufungskriterien des AI Act.

Verantwortlichkeiten: Pflichten für System und Unternehmenseinsatz trennen

Die Verordnung verteilt Pflichten nach der jeweiligen Rolle und Kategorie des Systems. Deshalb ist es nicht richtig, sämtliche Pflichten dem Modellentwickler zuzuweisen oder sie ohne Weiteres auf das Kundenunternehmen zu übertragen. An einem Ablauf können mehrere Organisationen Pflichten treffen – aber erst, wenn geklärt ist, welches System betrachtet wird, welche Vorschriften darauf anwendbar sind und wer die jeweilige Begriffsbestimmung erfüllt.

Für Hochrisiko-KI-Systeme legt Artikel 16 Pflichten des Anbieters fest. Dazu zählen unter anderem die Einhaltung der anwendbaren Anforderungen, ein Qualitätsmanagementsystem, die Aufbewahrung von Unterlagen sowie die Erfüllung der Konformitätsbewertungs-, Registrierungs- und weiteren in dem Artikel genannten Anforderungen. Der Verweis auf diese Vorschrift macht nicht jeden Agenten zu einem Hochrisiko-KI-System und bedeutet auch nicht, dass das integrierende Unternehmen stets dessen Anbieter ist.

Artikel 26 regelt Pflichten der Betreiber von Hochrisiko-KI-Systemen. Dazu gehört unter anderem, das System gemäß den Gebrauchsanweisungen zu verwenden, die menschliche Aufsicht Personen mit angemessener Kompetenz und Befugnis zu übertragen und den Betrieb unter den vorgesehenen Bedingungen zu überwachen. Der konkrete Umfang hängt davon ab, ob tatsächlich ein Hochrisiko-KI-System vorliegt und welche Vorschriften anwendbar sind. Diese Pflichten dürfen nicht als allgemeine Vorgaben des AI Act für jede automatisierte Aktion ausgegeben werden.

Artikel 25 kann die Rollenverteilung verändern, wenn eine Organisation ihre Rolle gegenüber einem Hochrisiko-KI-System ändert: etwa, wenn sie das System unter eigenem Namen oder eigener Marke auf den Markt bringt, wesentlich verändert oder seinen vorgesehenen Zweck so ändert, dass es zu einem Hochrisiko-KI-System wird. Für die Beurteilung ist zu prüfen, welche Änderung vorgenommen wurde und wie sie sich auf das System auswirkt. Eine API-Verbindung oder eine Änderung einer Vorlage fällt nicht notwendigerweise unter diese Fälle.

Artikel 4 verpflichtet Anbieter und Betreiber, Maßnahmen zu ergreifen, damit ihr Personal und andere Personen, die KI-Systeme in ihrem Auftrag betreiben oder nutzen, soweit wie möglich über ein ausreichendes Maß an KI-Kompetenz verfügen. Dabei sind Kenntnisse, Erfahrung, Ausbildung, Nutzungskontext und betroffene Personen zu berücksichtigen. Diese Pflicht ersetzt weder die Prüfung der Rollen noch macht sie die in diesem Beitrag beschriebenen Gestaltungsempfehlungen zu gesetzlichen Vorgaben.

Je nach verarbeiteten Daten, automatisierter Entscheidung, Sektor und Folgen können auch andere europäische oder nationale Vorschriften relevant sein. Diese Analyse beschränkt sich darauf, Fragen im Rahmen des AI Act einzuordnen; sie bestimmt keine Pflichten aus anderen Regelwerken.

Berechtigungen, Freigabe und Protokolle: vorsorgliche Kontrollen

Auch wenn der AI Act nicht jede denkbare technische Kontrolle automatisch zu einer allgemeinen Pflicht macht, sollte ein Agent mit Schreibzugriff auf Unternehmenssysteme angemessen begrenzt werden. Werden verfügbare Werkzeuge, Datenumfang und zulässige Vorgänge eingeschränkt, sinkt das mögliche Schadensausmaß bei Fehlern, falsch verstandenen Anweisungen oder Integrationsproblemen. Das sind Empfehlungen zu Gestaltung und Sicherheit, keine Behauptung, der AI Act schreibe jede einzelne Maßnahme bei jedem Einsatz vor.

Sinnvoll ist oft das Prinzip der geringsten Berechtigung: Der Agent darf nur die erforderlichen Felder abfragen; Lese- und Schreibzugriff sollten getrennt werden. Kann eine Änderung erheblichen Schaden verursachen oder lässt sie sich nur schwer rückgängig machen, kann vor der Ausführung eine menschliche Freigabe vorgesehen werden. Bei Routineänderungen kann eine automatische Ausführung innerhalb enger Grenzen möglich sein, ergänzt um Vorabprüfungen und eine Wiederherstellungsfunktion. Was angemessen ist, hängt von Auswirkungen und Kontext ab – nicht von einer universellen Formel.

Betriebsprotokolle können nachvollziehbar machen, welche Anfrage eine Aktion ausgelöst hat, welche Daten und Werkzeuge verwendet wurden, welche Anweisung versendet wurde, welches Ergebnis das System zurückgab und ob eine Person eingegriffen hat. Zugriff, Aufbewahrung und Schutz dieser Protokolle sollten im Einklang mit den anwendbaren Vorschriften festgelegt werden. Ein protokollierter Vorgang beweist für sich genommen weder die Rechtskonformität des Einsatzes noch ersetzt er gesetzlich vorgeschriebene Unterlagen oder Aufzeichnungen, sofern solche erforderlich sind.

Eine Eskalation an einen Menschen ist eine angemessene Gestaltungsmaßnahme, wenn das System unvollständige Daten, eine mehrdeutige Anweisung, einen nicht genehmigten Vorgang oder einen Werkzeugfehler erkennt. Festzulegen ist, wer den Fall erhält, welche Informationen vorliegen und ob die betreffende Person den Vorgang stoppen oder korrigieren kann. Für Hochrisiko-KI-Systeme enthält Artikel 26 besondere Anforderungen an die menschliche Aufsicht durch Betreiber. In anderen Fällen darf die vorsorgliche Empfehlung nicht als gleichwertige Pflicht aus dem AI Act dargestellt werden.

Diese Maßnahmen unterstützen die Steuerung externer Aktionen, klären aber nicht die rechtliche Einstufung. Auch eine technisch gut kontrollierte Implementierung kann eine Prüfung von Zweck und Rollen erfordern. Umgekehrt erfüllt ein Hochrisiko-KI-System nicht allein dadurch die einschlägigen Anforderungen, dass seine Berechtigungen begrenzt sind.

Anwendungsfristen und Übergangsregelungen

Der Zeitplan ist anhand der amtlichen Verordnung zu lesen. Dabei sind das Inkrafttreten und die tatsächliche Anwendbarkeit einzelner Pflichten zu unterscheiden. Die Verordnung (EU) 2024/1689 trat am 1. August 2024 in Kraft. Grundsätzlich gilt sie ab dem 2. August 2026; Artikel 113 bestimmt jedoch frühere Termine für bestimmte Teile und einen späteren Termin für bestimmte Hochrisiko-KI-Systeme, die in regulierte Produkte integriert sind.

Ab dem 2. Februar 2025 gelten nach Artikel 113 Kapitel I und II. Dazu gehören unter anderem die Begriffsbestimmungen in Kapitel I, die Pflicht zur KI-Kompetenz nach Artikel 4 und die verbotenen Praktiken nach Artikel 5. Das bedeutet nicht, dass ab diesem Datum die gesamte Regelung für Hochrisiko-KI-Systeme gilt.

Ab dem 2. August 2025 gelten unter anderem die Vorschriften in Kapitel V zu KI-Modellen für allgemeine Zwecke sowie die in Artikel 113 genannten institutionellen und sanktionsrechtlichen Bestimmungen. Für Anbieter von KI-Modellen für allgemeine Zwecke, die vor dem 2. August 2025 auf den Markt gebracht wurden, sieht Artikel 111 eine Übergangsregel vor: Sie müssen die einschlägigen Pflichten spätestens ab dem 2. August 2027 erfüllen.

Die allgemeine Anwendbarkeit beginnt am 2. August 2026. Für die in Artikel 6 Absatz 1 genannten Hochrisiko-KI-Systeme, die Sicherheitsbauteile von Produkten sind oder Produkte darstellen, die den in Anhang I aufgeführten Harmonisierungsrechtsvorschriften unterliegen, nennt Artikel 113 den 2. August 2027. Artikel 111 enthält außerdem Übergangsregelungen für Hochrisiko-KI-Systeme, die bereits vor dem 2. August 2026 auf den Markt gebracht oder in Betrieb genommen wurden. Ihre Reichweite hängt unter anderem davon ab, ob wesentliche Änderungen am Design vorgenommen werden und welche weiteren Bedingungen der Verordnung erfüllt sind.

Bei der betrieblichen Planung reicht es daher nicht aus, nur ein allgemeines Datum anzugeben. Jede Pflicht ist dem entsprechenden Artikel, der Kategorie und der Übergangsregelung zuzuordnen. Außerdem ist zu prüfen, ob das System oder Modell am maßgeblichen Stichtag bereits auf dem Markt oder in Betrieb war. Diese Zusammenfassung stützt sich auf den Text der Verordnung (EU) 2024/1689, der in den bereitgestellten Quellen zugrunde gelegt wird. Bei späteren Gesetzesänderungen ist die amtliche Fassung vor Entscheidungen erneut zu prüfen.

Prüfliste vor der Inbetriebnahme

Zunächst ist der Prüfgegenstand abzugrenzen: Geht es um ein Modell, ein System mit integriertem Modell oder einen Ablauf aus mehreren Systemen? Zeichnen Sie den Weg von der Anfrage bis zur Änderung des Datensatzes nach und kennzeichnen Sie, welche Komponente welches Ergebnis erzeugt. Stellen Sie fest, ob eine externe Aktion erfolgt und welche Organisation ihre Ausführung kontrolliert.

Bestimmen Sie anschließend die Rollen anhand konkreter Belege: unter welcher Marke das System angeboten wird, welche Verträge und Unterlagen bestehen, wer Änderungen beauftragt oder vornimmt, wer über den Zweck entscheidet und wer das System in eigener Verantwortung nutzt. Prüfen Sie besonders, ob eine Änderung wesentlich sein könnte oder ob der vorgesehene Zweck so verändert wurde, dass sich die Einstufung des Systems ändern könnte.

Nehmen Sie die Einstufung ohne Abkürzungen vor: Bestimmen Sie den vorgesehenen Zweck, prüfen Sie die Kriterien in Artikel 6 und die einschlägigen Bereiche der Anhänge und berücksichtigen Sie Ausnahmen oder Bedingungen. Reichen die Informationen nicht für eine Entscheidung aus, halten Sie die Frage ausdrücklich offen und veranlassen Sie eine rechtliche oder regulatorische Prüfung, bevor Sie das System als Hochrisiko-KI-System einordnen oder ausschließen.

Trennen Sie zuletzt gesetzliche Vorgaben von vorsorglichen Maßnahmen: Stellen Sie fest, welche Vorschriften für die Rolle jeder Organisation und das konkrete System gelten; notieren Sie Fristen und Übergangsregelungen; und definieren Sie Berechtigungen, Freigaben, Protokollierung und Eskalation als operative Kontrollen mit verantwortlichen Personen und überprüfbaren Kriterien. Das Ergebnis sollte bei Änderungen am Modell, an Werkzeugen, Zweck, Sektor oder Nutzung überprüft werden können.

Diese Prüfliste strukturiert die erste Bewertung, ersetzt aber keine Rechtsberatung für ein bestimmtes Produkt oder einen konkreten Einsatz. Sie ist auch keine vollständige Anleitung zum Risikomanagement, zu Anbieterpflichten, Folgenabschätzungen oder zur Dokumentation von Entscheidungen. Ziel ist, zu verhindern, dass die Autonomie eines Agenten eine Prüfung anhand des Gesetzestextes und belegbarer Tatsachen ersetzt.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.