Llama 3.1 8B

Solides Einstiegsmodell für lokale Inferenz. Erstaunlich kohärentes Deutsch trotz primär englischem Training.

Lizenz: Llama-3-Community. Die Llama-3-Community-License ist nicht klassisch Open-Source: Unternehmen mit über 700 Millionen monatlich aktiven Nutzern brauchen eine Sondervereinbarung mit Meta. Für KMU und Mittelstand spielt das keine Rolle. Das macht Llama 3.1 8B besonders interessant für On-Prem-Deployments in Unternehmen, kommerzielle SaaS-Produkte und Embedded-Lösungen.

Llama 3.1 8B hat 8 Mrd. Parameter und braucht in Q4_K_M-Quantisierung rund 6-7 GB VRAM. Damit läuft das Modell auf praktisch jeder modernen GPU ab RTX 3060 12GB aufwärts. Apple-Silicon-Geräte mit 16+ GB Unified Memory sind ebenfalls bestens geeignet.

Mit 128k Tokens Kontext (~96k Wörter) eignet sich Llama 3.1 8B für lange Texte, Multi-Dokument-RAG und umfangreiche System-Prompts ohne Chunking-Overhead.

Deutsch-Qualität: gut. Solide deutsche Ausgabe für die meisten produktiven Use-Cases — gelegentlich englische Phrasen oder leichte Holprigkeiten, aber überzeugend.