Gemeint ist: Antworten sollen auf dem eigenen Bestand beruhen und belegbar sein. Was mit Training tatsächlich passiert, ist etwas anderes – und es liefert genau diese beiden Eigenschaften nicht.
Die zwei Verfahren, nebeneinander gestellt
- Verändert die Gewichte des Modells
- Prägt Stil, Form und Aufgabenzuschnitt
- Wissen bleibt vage und ohne Fundstelle
- Eine Änderung heißt: neu trainieren
- Löschen einzelner Inhalte praktisch unmöglich
- Lässt das Modell unverändert
- Sucht passende Abschnitte und legt sie der Anfrage bei
- Antwort kann die verwendete Stelle nennen
- Eine Änderung heißt: einen Abschnitt neu einlesen
- Löschen heißt: den Eintrag entfernen
Beide Begriffe stehen ausführlich im Lexikon: Feintuning und RAG. Hier geht es um die Entscheidung dazwischen.
Vier Gründe, die für RAG entscheiden
- Belegbarkeit Ein Modell, das etwas gelernt hat, kann nicht sagen, woher. Ein Abruf kann es: Die Antwort verweist auf den Abschnitt, aus dem sie stammt. Für alles, was jemand nachprüfen können muss – Auskünfte, Bescheide, Angebote –, ist das kein Komfortmerkmal, sondern die Bedingung für den Einsatz.
- Aktualität Ein geändertes Dokument ist beim Abruf in Minuten wirksam. Beim Training wird es erst mit dem nächsten Durchgang wirksam – und bis dahin antwortet das Modell nach dem alten Stand, ohne dass ihm oder dem Nutzer das auffällt.
- Löschbarkeit Der datenschutzrechtlich entscheidende Punkt. Ein Eintrag im Index lässt sich entfernen; der Beitrag einer Trainingsdatei zu einem Modell nicht. Ein Löschverlangen nach Art. 17 DSGVO trifft beim Training auf einen Vorgang, der nur durch Neutraining rückgängig zu machen ist.
- Kosten und Umkehrbarkeit Ein Abruf ist Bau- und Betriebsaufwand, ein Trainingslauf ist zusätzlich Rechenzeit und Risiko. Vor allem aber: Ein misslungener Index wird neu aufgebaut, ein misslungenes Training ist ein Modell, das man wegwirft.
Wofür Feintuning trotzdem richtig ist
Es gibt diese Fälle, und sie werden über der Begeisterung für den Abruf gern übersehen:
- Eine feste Ausgabeform. Wenn jede Antwort dasselbe Feldgerüst füllen muss und der Weg über Anweisungen im Prompt unzuverlässig bleibt.
- Hausstil und Fachsprache. Amtsdeutsch, Werbeton, eine bestimmte Anrede, eine Terminologie, die konsequent durchgehalten wird.
- Ein enger Aufgabenzuschnitt in großer Menge. Eine Klassifikation, eine Extraktion, eine immer gleiche Umformung – dort schlägt ein angepasstes kleines Modell ein größeres allgemeines, und zwar bei Kosten und Tempo zugleich.
- Ein Ausgabeverhalten, das im Prompt nicht stabil wird. Wenn dieselbe Anweisung mal befolgt und mal übergangen wird, ist das ein Fall für Anpassung – nicht für einen längeren Prompt.
Der kostengünstige Weg dahin ist ein Adapter statt eines vollständigen Trainings; wie das funktioniert, steht im Lexikon unter LoRA. Und die beiden Verfahren schließen einander nicht aus: Ein angepasstes Modell, das auf abgerufene Abschnitte zugreift, ist die übliche Endstufe.
Fragen Sie: Soll das Modell etwas anders sagen – oder soll es etwas anderes wissen?
„Anders sagen“ ist Feintuning. „Etwas anderes wissen“ ist Abruf. Wer beides in einem Satz nennt, hat zwei Aufgaben und sollte sie getrennt lösen, weil sie verschiedene Werkzeuge, verschiedene Prüfungen und verschiedene Fristen haben.
Die Reihenfolge beim Bauen
Die Qualität eines Abrufs entscheidet sich vor dem Sprachmodell. In dieser Reihenfolge steckt der Aufwand, der tatsächlich wirkt:
| Stufe | Worum es geht | Wirkung auf das Ergebnis |
|---|---|---|
| 1. Zerlegen | Wie ein Dokument in Abschnitte zerfällt – siehe Chunking | Am größten. Ein Abschnitt, der die Antwort nur halb enthält, verdirbt alles Folgende |
| 2. Einbetten | Modellwahl, mehrsprachig oder nicht, Umgang mit Fachbegriffen | Groß. Und bindend: Ein Wechsel bedeutet, alles neu zu rechnen |
| 3. Suchen | Reine Ähnlichkeitssuche oder zusätzlich Stichwortsuche | Groß bei Aktenzeichen, Produktnummern und Namen, die kein Modell erraten kann |
| 4. Auswählen | Wie viele Abschnitte, in welcher Reihenfolge, mit welchem Schwellenwert | Mittel. Mehr Kontext ist nicht besser, sondern langsamer und unschärfer |
| 5. Modell | Welches Sprachmodell die Antwort formuliert | Am kleinsten – wenn die Stufen davor stimmen |
Wer bei Stufe 5 anfängt und sich über schlechte Antworten wundert, wechselt das Modell und ändert nichts. Das ist der häufigste Verlauf gescheiterter Vorhaben.
Drei Grenzen, die zu RAG dazugehören
- Abruf ersetzt kein Denken. Fragen, die mehrere Dokumente gegeneinander abwägen oder eine Schlussfolgerung über mehrere Schritte verlangen, werden durch bessere Suche nicht leichter. Sie brauchen ein stärkeres Modell oder eine andere Zerlegung der Aufgabe.
- Was nicht gefunden wird, existiert für die Antwort nicht. Das Modell weiß nicht, dass der entscheidende Absatz fehlt, und formuliert trotzdem. Ein Abruf ohne Trefferprüfung erzeugt selbstbewusste Lücken.
- Abgerufener Text ist fremder Text. Wer Dokumente aus unsicherer Quelle in den Index nimmt, holt sich Anweisungen ins Prompt – der Fall, den das Lexikon unter Prompt Injection beschreibt. Besonders heikel, wenn die Anwendung Funktionen aufrufen darf.
Was das für die Auswahl des Dienstes heißt
Ein RAG-Aufbau braucht zwei Modelle: eines für die Einbettungen und eines für die Antwort. Beide sollten dort laufen, wo auch die Dokumente liegen dürfen – sonst wandert der Bestand doch wieder hinaus, nur in kleineren Stücken. Warum das keine Anonymisierung ist, steht im Beitrag Einbettungen sind keine Anonymisierung.
Unser Katalog führt für die Einbettungen BGE-M3; für die Antwort reicht in vielen Fällen ein Modell der Einstiegsklasse, weil die Arbeit im Abruf steckt und nicht in der Formulierung. Der Zugang für eigene Anwendungen ist unter Schnittstelle beschrieben.