Ein Sprachmodell nennt einen Paragrafen, den es nicht gibt. Der Absatz klingt richtig, die Nummer sieht plausibel aus, die Formulierung passt in den Bescheid. Zwei Wochen später fällt es auf.
Warum das kein Ausnahmefall ist
Falsche Fundstellen sind die häufigste Art von Fehler, die Sprachmodelle in Rechtstexten machen – und die am schwersten zu erkennende. Ein erfundener Sachverhalt fällt auf, weil er sich falsch anfühlt. Eine erfundene Fundstelle sieht aus wie eine echte: richtiges Gesetz, plausible Nummer, passender Absatz. Der Mechanismus dahinter steht im Lexikon unter Halluzination.
Verschärfend kommt hinzu, dass Modelle Fundstellen besonders selbstsicher nennen. Eine Formulierung wie „nach § 28 Abs. 2 Satz 3“ trägt keine Unsicherheit in sich – sie liest sich wie ein Nachschlagen und ist eine Vorhersage.
Die Haftungsfrage, in drei Richtungen
| Wem gegenüber | Wer haftet | Woraus |
|---|---|---|
| Der betroffenen Person | Die Behörde beziehungsweise ihr Träger | Amtshaftung nach Art. 34 GG in Verbindung mit § 839 BGB |
| Der Behörde gegenüber der Beschäftigten | Rückgriff nur bei Vorsatz oder grober Fahrlässigkeit | Art. 34 Satz 2 GG |
| Gegenüber dem Anbieter des Werkzeugs | In aller Regel niemand – vertraglich, wenn überhaupt | Der Vertrag; ein Modell, das eine falsche Ausgabe erzeugt, arbeitet dabei bestimmungsgemäß |
Die dritte Zeile ist die, die überrascht. Ein Sprachmodell, das eine falsche Fundstelle erzeugt, ist nicht defekt: Es tut genau das, wofür es gebaut ist – wahrscheinliche Wortfolgen fortsetzen. Wer erwartet, dass es nachschlägt, hat eine Erwartung, die das Werkzeug nie zugesagt hat.
Was mit dem Bescheid passiert
Ein Verwaltungsakt, der auf einer falschen Rechtsgrundlage beruht, ist rechtswidrig. Der übliche Weg dagegen ist Widerspruch oder Klage; die Behörde kann ihn auch selbst zurücknehmen, wobei § 48 VwVfG unterscheidet, ob er begünstigend oder belastend war. Nichtig nach § 44 VwVfG ist er deswegen in aller Regel nicht – Nichtigkeit setzt einen besonders schwerwiegenden und offensichtlichen Fehler voraus, und eine falsche Paragrafenangabe ist das selten.
Praktisch heißt das: Der Fehler ist heilbar und trotzdem teuer. Er kostet einen Vorgang, Vertrauen und im Zweifel eine Frist.
Art. 22 DSGVO gibt betroffenen Personen das Recht, nicht einer ausschließlich automatisierten Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet. Wer einen Entwurf ungeprüft übernimmt und unterschreibt, sollte sich fragen, ob die menschliche Beteiligung mehr war als eine Unterschrift.
Eine Prüfung, die stattfindet, sieht anders aus als eine, die behauptet wird: Sie hat Zeit im Kalender, eine Person mit Fachkunde und eine Vorstellung davon, woran ein Fehler erkennbar wäre. Ohne diese drei ist die Beteiligung formal.
Was für die KI-Verordnung gilt
Wer ein KI-System lediglich einsetzt, ist Betreiber und nicht Anbieter – das ändert sich erst, wenn er es unter eigenem Namen bereitstellt oder wesentlich verändert. Für Hochrisiko-Systeme sieht die Verordnung Betreiberpflichten einschließlich menschlicher Aufsicht vor; deren Anwendung wurde durch die Verordnung (EU) 2026/1744 auf Dezember 2027 beziehungsweise August 2028 verschoben.
Für die Haftungsfrage ändert das wenig. Die Amtshaftung folgt nicht aus der KI-Verordnung, sondern aus dem Verwaltungshandeln – sie galt vorher und gilt unabhängig davon, welche Werkzeuge im Haus stehen.
Was den Fehler tatsächlich verhindert
- Fundstellen werden nachgeschlagen, nicht übernommen Die einfachste und wirksamste Regel. Sie kostet je Fundstelle unter einer Minute und ist die einzige Maßnahme, die den Fehler ausschließt statt ihn seltener zu machen.
- Das Modell wird so gefragt, dass Prüfen möglich ist Eine Antwort, die Gesetz, Paragraf und Wortlaut nennt, lässt sich in einer Minute prüfen. Eine, die nur „nach den einschlägigen Vorschriften“ sagt, nicht – und das ist keine bessere Antwort, sondern eine unprüfbare.
- Der Text wird vorgelegt, statt erfragt Wer die Vorschrift mit in die Anfrage gibt, statt sie aus dem Modell zu holen, verlagert die Aufgabe vom Erinnern zum Umformen – und dort sind Sprachmodelle gut. Das ist der Grund, warum ein Abruf aus dem eigenen Bestand für Rechtstexte die richtige Bauart ist.
- Vier Augen bei allem, was hinausgeht Nicht für jeden Vermerk, aber für jeden Verwaltungsakt. Das ist keine KI-Regel, sondern eine, die es meistens schon gibt und die durch das Werkzeug wichtiger wird, nicht unwichtiger.
- Eine Hausregel, die den Fall benennt „Rechtliche Fundstellen aus einem Sprachmodell werden vor Verwendung an der Primärquelle geprüft.“ Ein Satz, der in die Unterweisung nach Art. 4 der KI-Verordnung gehört.
Bei Modellen, die vor der Antwort sichtbar nachdenken, wirkt der Zwischentext wie eine Herleitung. Er ist der Text, den das Modell erzeugt, während es zur Antwort kommt – er belegt nicht, dass es so gerechnet hat. Wer ihn als Begründung in einen Vorgang übernimmt, verwechselt Plausibilität mit Prüfung; siehe Reasoning-Modell.
Wofür Sprachmodelle in Rechtstexten taugen
Für alles, wo der Text schon da ist: verständlicher formulieren, gliedern, zusammenfassen, in eine andere Sprache bringen, Widersprüche im eigenen Entwurf suchen. Für alles, wo der Text erst entstehen soll – Fundstellen, Fristen, Voraussetzungen –, sind sie ein Vorschlagsgeber und keine Quelle.
Diese Unterscheidung ist wichtiger als die Wahl des Modells, und sie lässt sich als Satz in eine Dienstanweisung schreiben. Welche fünf Fragen vor dem Einsatz zu klären sind, steht im Beitrag Fünf Fragen, die eine Behörde vor dem KI-Einsatz beantworten muss.
Dieser Beitrag beschreibt, wie wir die Rechtslage verstehen. Eine Rechtsberatung im Einzelfall ist er nicht und darf er nicht sein – Amtshaftung, Rücknahme und Rückgriff hängen an Umständen, die wir nicht kennen. Für die Beurteilung eines konkreten Falls brauchen Sie rechtliche Beratung, für die Bewertung Ihrer Verarbeitung Ihre Datenschutzbeauftragte oder Ihren Datenschutzbeauftragten.