Retrieval-Augmented Generation

Kurz-Fakten

• Zwei Schritte: erst suchen (meist über Einbettungen), dann antworten
• Das Modell bleibt unverändert – RAG ist kein Training
• Aktualisierungen wirken sofort: Ein neues Dokument ist nach dem Einbetten verfügbar
• Die Qualität hängt mehr an der Suche und der Zerlegung der Dokumente als am Modell

Bedeutung in der Praxis

RAG ist für Behörden und Unternehmen meist der sinnvollere Weg als eine Feinabstimmung: schneller, billiger, nachvollziehbar und ohne die Frage, wie man ein trainiertes Modell wieder von einem Dokument befreit, das gelöscht werden muss.

Der häufigste Fehler beim Aufbau liegt nicht im Modell, sondern in der Zerlegung: Wer Dokumente stumpf nach Zeichenzahl zerschneidet, trennt Sätze und Tabellen mitten durch und bekommt Abschnitte, die für sich genommen nichts aussagen. Die Zerlegung entlang von Überschriften und Absätzen ist die halbe Miete.

Verwandte Begriffe

• Embedding Eine Einbettung ist die Darstellung eines Textes als Zahlenvektor, dessen Lage im Raum…
• Halluzination Als Halluzination bezeichnet man die Ausgabe eines Sprachmodells, die sprachlich…
• Kontextfenster Das Kontextfenster ist die maximale Anzahl an Token, die ein Sprachmodell bei einer…
• Feintuning Feintuning ist das Nachtrainieren eines bereits trainierten Modells mit einem kleineren,…
• Pseudonymisierung Pseudonymisierung ersetzt identifizierende Merkmale so, dass eine Zuordnung nur mit…