Llama-3.1-Nemotron 70B

Über das Modell

NVIDIA hat Llama 3.1 mit einem eigenen Verfahren nachtrainiert, das die Nützlichkeit der Antworten belohnt statt nur ihre Wahrscheinlichkeit. Das Ergebnis sind Antworten, die häufiger vollständig sind und seltener bei der Hälfte der Frage aufhören.

Für den Betrieb interessant: Das Modell ist auf die Hardware desselben Hauses abgestimmt und läuft im Serving-Stack messbar effizienter als der unveränderte Ausgangspunkt.

Lizenzrechtlich gelten zwei Ebenen gleichzeitig – die NVIDIA-Open-Model-Lizenz und die Llama-Lizenz des Ausgangsmodells. Wer Lizenzklarheit als Vergabekriterium führt, sollte beide lesen, nicht eine.

Stärken

Kurz gesagt

Auf Nützlichkeit nachtrainiertes Llama, effizient im Betrieb