Kurz-Fakten

  • Der Anwendung stehende Funktionen werden dem Modell mit Namen, Zweck und Argumentschema beschrieben
  • Das Modell gibt einen Vorschlag zurück; die Ausführung liegt vollständig bei der Anwendung
  • Argumente sind ungeprüfte Eingaben und müssen wie Eingaben aus dem Netz behandelt werden
  • Bei OpenAI-kompatiblen Schnittstellen weichen Anbieter gerade hier besonders häufig voneinander ab
  • In Verbindung mit fremden Inhalten ist es der Hebel für Prompt Injection: Wer den Text steuert, steuert den Vorschlag

Bedeutung in der Praxis

Die Sicherheitsregel lässt sich in einem Satz sagen: Ein Vorschlag darf nichts auslösen, was nicht rückgängig zu machen ist. Lesende Funktionen können automatisch laufen; alles, was schreibt, versendet, bezahlt oder löscht, gehört hinter eine Bestätigung durch einen Menschen oder hinter eine enge Rechteprüfung in der Anwendung. Die Prüfung im Modell zu suchen, ist der Fehler – dort steht der Angreifertext im selben Strom wie die Anweisung.

Der zweite praktische Punkt betrifft den Anbieterwechsel: Funktionsaufrufe sind der Teil der OpenAI-kompatiblen Schnittstelle, an dem die Kompatibilität am ehesten endet. Wer damit arbeitet, sollte den Wechsel einmal probeweise durchspielen, statt ihn im Ernstfall zu entdecken.

Verwandte Begriffe