Kurz-Fakten
- Zwei Rollen: ein großes Lehrermodell und ein kleineres Schülermodell
- Das Ergebnis ist ein neues Modell eigener Größe, nicht eine Anpassung des Vorbilds
- Es erklärt zu einem guten Teil, warum kleine Modelle in den letzten Jahren stark aufgeholt haben
- Die Lizenz des Lehrermodells kann die Verwendung seiner Ausgaben zum Training einschränken – ein regelmäßiger Streitpunkt
- Die Grenzen des Lehrers werden mitgelernt, einschließlich seiner Fehler und seiner inhaltlichen Prägung
Bedeutung in der Praxis
Für Anwender ist Destillation vor allem eine Erklärung: Sie ist einer der Gründe, warum ein Modell mit wenigen Milliarden Parametern heute Aufgaben löst, für die vor kurzem ein Vielfaches nötig war. Wer die Wahl zwischen einem großen und einem kleinen Modell abwägt, sollte die kleine Variante deshalb tatsächlich ausprobieren, statt sie nach der Parameterzahl auszusortieren.
Rechtlich ist der Punkt die Lizenz. Mehrere Modelllizenzen untersagen ausdrücklich, die Ausgaben eines Modells zum Training eines konkurrierenden zu verwenden. Wer selbst destilliert, prüft also nicht nur, ob er das Lehrermodell benutzen darf, sondern auch, wozu er dessen Ausgaben benutzen darf – das sind zwei verschiedene Erlaubnisse.