Llama 3.2 3B

Edge-/Mobil-Modell. Läuft auf jeder GPU. Deutsche Qualität spürbar limitiert.

Lizenz: Llama-3-Community. Die Llama-3-Community-License ist nicht klassisch Open-Source: Unternehmen mit über 700 Millionen monatlich aktiven Nutzern brauchen eine Sondervereinbarung mit Meta. Für KMU und Mittelstand spielt das keine Rolle. Das macht Llama 3.2 3B besonders interessant für On-Prem-Deployments in Unternehmen, kommerzielle SaaS-Produkte und Embedded-Lösungen.

Mit nur 3 Milliarden Parametern läuft Llama 3.2 3B auf praktisch jeder modernen GPU mit 6 GB VRAM — selbst günstige Karten wie die RTX 3060 12GB sind hier deutlich überdimensioniert. Auch CPU-only-Inferenz auf modernen Notebooks ist praktikabel.

Mit 128k Tokens Kontext (~96k Wörter) eignet sich Llama 3.2 3B für lange Texte, Multi-Dokument-RAG und umfangreiche System-Prompts ohne Chunking-Overhead.

Deutsch-Qualität: schwach. Deutsche Ausgabe stark eingeschränkt — eher für englische Workloads oder als Edge-/Mobile-Modell gedacht.