Kurz-Fakten
- Vorgestellt im Jahr 2017; die Sprachmodelle in diesem Katalog sind fast durchweg Decoder-Modelle dieser Bauart
- Bestandteile sind der Aufmerksamkeitsmechanismus, Vorwärtsschichten, Normalisierung und Positionsangaben
- Die Verarbeitung ist parallelisierbar – der Grund, warum Grafikkarten dafür geeignet sind
- Der Rechenaufwand der Aufmerksamkeit wächst quadratisch mit der Länge des Kontexts
- Über eine Anfrage hinaus hat ein Transformer kein Gedächtnis: Was berücksichtigt wird, steht im Kontextfenster
Bedeutung in der Praxis
Aus der Architektur folgen zwei Eigenschaften, die im Alltag ständig sichtbar werden. Erstens die Kosten langer Eingaben: Weil der Aufwand quadratisch mit der Kontextlänge wächst, ist ein doppelt so langes Dokument deutlich mehr als doppelt so teuer. Zweitens die Grenze des Fensters – ein Modell, das ein Dokument nicht vollständig sieht, kann keinen Bezug zu dem herstellen, was außerhalb liegt.
Die dritte Eigenschaft ist die wichtigste und wird am häufigsten missverstanden: Ein Transformer speichert nichts. Er hat kein Gedächtnis zwischen zwei Anfragen; was wie Erinnerung aussieht, ist ein Verlauf, den eine Anwendung jedes Mal mitschickt. Wer keinen Verlauf mitschickt, hat auch keinen.