Ein Abschnitt, der die Antwort nur zur Hälfte enthält, verdirbt alles Folgende. Das beste Sprachmodell kann aus einem falsch geschnittenen Ausschnitt keine richtige Antwort machen – und es merkt nicht einmal, dass etwas fehlt.
Was beim Zerlegen passiert
Damit ein Bestand durchsuchbar wird, muss er in Stücke zerfallen: Abschnitte, die einzeln eingebettet und einzeln gefunden werden. Ein Abschnitt ist die kleinste Einheit, die je an das Modell geht – was nicht darin steht, steht für die Antwort nicht zur Verfügung.
Daraus folgt die Anforderung: Ein Abschnitt soll für sich verständlich sein und genau einen Gedanken vollständig enthalten. Das ist eine inhaltliche Anforderung, keine technische, und deshalb löst sie kein Standardwert.
Warum die naheliegende Lösung scheitert
Die erste Umsetzung ist immer dieselbe: alle 1000 Zeichen schneiden. Sie ist in zehn Minuten gebaut und hat vier Fehler, die alle in dieselbe Richtung wirken.
- Der Schnitt fällt mitten in den Satz. Ein Abschnitt, der mit „…deshalb ist die Frist“ endet, ist für die Suche wertlos und für die Antwort irreführend.
- Die Überschrift bleibt zurück. Der Abschnitt sagt „Die Frist beträgt vier Wochen“ und verrät nicht, wofür. Zwei Abschnitte weiter steht eine andere Frist für etwas anderes.
- Tabellen zerfallen. Kopfzeile im einen Stück, Werte im nächsten. Was übrig bleibt, sind Zahlen ohne Bedeutung.
- Aufzählungen reißen. Von fünf Voraussetzungen finden sich drei – und die Antwort nennt drei und klingt vollständig.
Was besser funktioniert
- An der Struktur schneiden, nicht an der Zeichenzahl Überschriften, Absätze, Listenpunkte, Paragrafen. Fast jedes Dokument bringt seine eigene Gliederung mit; sie ist der beste verfügbare Hinweis darauf, wo ein Gedanke endet.
- Die Überschriftenkette mitgeben Jeder Abschnitt beginnt mit dem Pfad, in dem er steht – Dokument, Kapitel, Abschnitt. Das kostet ein paar Token und beantwortet die Frage „wovon reden wir hier“ ein für alle Mal.
- Überlappen lassen Ein bis zwei Sätze aus dem vorherigen Abschnitt am Anfang wiederholen. Das fängt Gedanken auf, die über die Grenze reichen, und kostet nur Speicher.
- Klein suchen, groß antworten Gesucht wird auf kurzen, scharfen Abschnitten; vorgelegt wird der größere Zusammenhang, in dem der Treffer steht. Das ist der wirksamste einzelne Kniff im ganzen Aufbau.
- Tabellen gesondert behandeln Entweder als Ganzes in einen Abschnitt, oder zeilenweise mit wiederholter Kopfzeile. Beides ist besser als der Zufall.
Herkunftsdokument, Fundstelle, Datum – und die Angabe, wer den Abschnitt sehen darf. Diese vier Felder entscheiden später über drei Dinge, die man nachträglich nicht mehr herstellt: ob die Antwort eine Fundstelle nennen kann, ob veraltete Stände erkennbar sind, und ob sich ein Dokument gezielt wieder löschen lässt.
Der letzte Punkt ist der teuerste, wenn er fehlt. Wer Abschnitte ohne Rückbezug auf das Ursprungsdokument speichert, kann eine Löschung nur durch Neuaufbau des gesamten Index erfüllen. Näheres unter Vektordatenbank.
Die Formate, an denen es tatsächlich hakt
| Format | Das Problem | Was hilft |
|---|---|---|
| PDF mit zwei Spalten | Der Text wird zeilenweise quer gelesen – zwei Gedanken verschränken sich | Layouterkennung vor dem Zerlegen; Ergebnis stichprobenweise ansehen |
| Gescannte Seiten | Ohne Texterkennung gibt es nichts zu zerlegen | Texterkennung vorschalten und deren Fehlerquote kennen |
| Tabellen in PDF | Zellgrenzen sind im Text nicht vorhanden | Getrennt extrahieren, als Text mit Kopfzeilen wieder zusammensetzen |
| Fußnoten | Landen mitten im Satz oder am Seitenende ohne Bezug | Entweder entfernen oder an den zugehörigen Absatz anhängen |
| Formulare | Beschriftung und Wert stehen weit auseinander | Als Paare auslesen, nicht als Fließtext |
| Präsentationen | Stichpunkte ohne Satzbau, Bedeutung steckt im Vortrag | Erwartungen senken – oder die Notizenseiten mitnehmen |
Wie man das Ergebnis misst
Nicht an der Antwort. Die Antwort mischt zwei Fehlerquellen – schlechten Abruf und schwaches Modell – und lässt sich deshalb nicht auf die Ursache zurückführen.
Brauchbar ist ein Prüfsatz aus Frage und erwarteter Fundstelle: dreißig Fragen aus dem Alltag, dazu jeweils die Stelle im Bestand, an der die Antwort steht. Gemessen wird dann nur eines: Steht die richtige Stelle unter den gefundenen Abschnitten? Diese Zahl lässt sich verbessern, ohne das Modell anzufassen – und sie ist die Zahl, die zählt.
Zerlegen, dann Einbetten, dann Suchen, dann Auswählen, dann Modell. Der Aufwand wirkt in dieser Reihenfolge – und wird meistens in der umgekehrten investiert. Wer bei schlechten Antworten zuerst das Modell wechselt, hat den größten Hebel ungenutzt gelassen.
Drei Dinge, die man einmal entscheiden muss
- Was gar nicht hineingeht. Ganze Dokumentklassen auszuschließen, ist einfacher und zuverlässiger, als später einzelne Angaben herauszufiltern.
- Wie mit Ständen umgegangen wird. Eine alte und eine neue Fassung desselben Merkblatts im selben Index erzeugen Antworten, die beides mischen. Entweder alte Stände entfernen oder das Datum in jeden Abschnitt schreiben und die Auswahl darauf stützen.
- Welches Einbettungsmodell. Die Entscheidung bindet: Ein Wechsel bedeutet, den gesamten Bestand neu zu rechnen. Näheres unter Embedding.
Warum ein Abruf für die meisten Vorhaben die richtige Bauart ist und ein Training nicht, steht im Lexikon unter RAG und Feintuning. Wie viel Text ein Modell überhaupt auf einmal sieht, unter Kontextfenster.