Kurz-Fakten
- Die Modellparameter bleiben unverändert – Inferenz ist ein Lesevorgang
- Der Ressourcenbedarf ist dominiert vom Grafikspeicher, nicht von der Rechenleistung
- Training kostet ein Vielfaches der Inferenz, fällt aber nur einmal an
- Die Aussage „kein Training mit Ihren Daten“ betrifft die Aufbewahrung, nicht die Inferenz selbst
Bedeutung in der Praxis
Hier liegt ein verbreitetes Missverständnis: Viele glauben, ein Modell „merke sich“ ihre Eingabe. Technisch ist das falsch – bei der Inferenz wird nichts gespeichert und nichts verändert.
Was Eingaben trotzdem gefährlich macht, ist die Schicht darüber: Wenn der Betreiber die Anfrage protokolliert, in einen Verlauf schreibt oder für ein späteres Training zurücklegt, entsteht der Bestand außerhalb des Modells. Die entscheidende Frage an einen Anbieter lautet deshalb nicht „lernt das Modell aus meinen Daten“, sondern „was passiert mit der Anfrage, nachdem die Antwort erzeugt ist“.