Kurz-Fakten

  • Wirken vor der Anfrage als Eingabeprüfung, nach der Antwort als Ausgabeprüfung, häufig beides
  • Übliche Mittel: Regeln und Muster, Schemaprüfung strukturierter Ausgaben, ein zweites Modell als Prüfer
  • Sie ersetzen keine Rechte- und Zugriffsprüfung in der Anwendung dahinter
  • Gegen Prompt Injection wirken sie dämpfend, nicht abschließend
  • Ein System-Prompt ist keine Guardrail: Er steht im selben Textstrom wie die Eingabe

Bedeutung in der Praxis

Der letzte Punkt der Faktenliste ist der wichtigste und wird am häufigsten übersehen. Anweisungen im System-Prompt sind Text und stehen damit auf derselben Ebene wie das, was ein Angreifer hineinschreibt. Eine Prüfung wirkt nur, wenn sie außerhalb des Modells stattfindet – in Programmcode, den kein Text beeinflussen kann.

Daraus folgt die brauchbare Reihenfolge beim Entwurf: zuerst festlegen, was die Anwendung überhaupt darf, dann die Rechte so eng setzen, dass ein Missbrauch begrenzt bleibt, und erst danach filtern. Eine Guardrail vor einer Anwendung mit weiten Rechten verschiebt das Risiko, sie beseitigt es nicht.

Verwandte Begriffe