Mistral Nemo 12B
Mistral AI · 12 Mrd. Parameter · Apache-2.0
Kollaboration Mistral × NVIDIA. 128k Kontext. Apache-2.0.
Lizenz: Apache-2.0. Apache 2.0 ist eine der permissivsten Open-Source-Lizenzen — kommerzielle Nutzung, Modifikation und Weiterverbreitung uneingeschränkt erlaubt, inklusive Patent-Klausel. Das macht Mistral Nemo 12B besonders interessant für On-Prem-Deployments in Unternehmen, kommerzielle SaaS-Produkte und Embedded-Lösungen.
Mit 12 Mrd. Parametern positioniert sich Mistral Nemo 12B im mittleren Segment. Q4_K_M-Quantisierung braucht etwa 10 GB VRAM — RTX 3060 12GB ist die untere Grenze, RTX 4080 Super (16GB) oder 4090 (24GB) der Komfort-Bereich. Auf Mac mini M4 mit 16+ GB Unified Memory ebenfalls flüssig.
Mit 128k Tokens Kontext (~96k Wörter) eignet sich Mistral Nemo 12B für lange Texte, Multi-Dokument-RAG und umfangreiche System-Prompts ohne Chunking-Overhead.
Deutsch-Qualität: gut. Solide deutsche Ausgabe für die meisten produktiven Use-Cases — gelegentlich englische Phrasen oder leichte Holprigkeiten, aber überzeugend.
Welche GPU brauche ich für Mistral Nemo 12B lokal?
Mistral Nemo 12B hat 12 Milliarden Parameter und stammt von Mistral AI. Laut VRAM-Rechner der KI-Rundschau braucht Mistral Nemo 12B in der Quantisierung Q4_K_M rund 8,8 GB Grafikspeicher, in Q8_0 rund 13,9 GB (berechnet für 8k Kontext mit mindestens 0,5 GB Reserve). Von 22 erfassten GPUs und Apple-Rechnern haben 22 genug Speicher für Q4_K_M und 21 auch für Q8_0. Die kleinste passende Karte hat 12 GB: NVIDIA GeForce RTX 3060 12GB.
22 GPUs können Mistral Nemo 12B in mindestens einer praktikablen Quantisierung fahren — sortiert nach VRAM-Kapazität. Tokens/Sek-Werte werden manuell aus Community-Benchmarks gepflegt (siehe Confidence-Badges auf den Detailseiten).
| GPU | Beste Quant | VRAM-Bedarf |
|---|---|---|
| Apple Mac Studio M3 Ultra 192GB | Q8_0 | 13.9 GB |
| Apple MacBook Pro M4 Max 128GB | Q8_0 | 13.9 GB |
| Apple Mac Studio M3 Ultra 96GB | Q8_0 | 13.9 GB |
| NVIDIA H100 80GB | Q8_0 | 13.9 GB |
| Apple Mac mini M4 Pro 64GB | Q8_0 | 13.9 GB |
| Apple MacBook Pro M4 Max 64GB | Q8_0 | 13.9 GB |
| NVIDIA L40S | Q8_0 | 13.9 GB |
| NVIDIA RTX 6000 Ada Generation | Q8_0 | 13.9 GB |
| NVIDIA RTX A6000 | Q8_0 | 13.9 GB |
| NVIDIA GeForce RTX 5090 | Q8_0 | 13.9 GB |
| AMD Radeon RX 7900 XTX | Q8_0 | 13.9 GB |
| NVIDIA GeForce RTX 3090 Ti | Q8_0 | 13.9 GB |
| NVIDIA GeForce RTX 3090 | Q8_0 | 13.9 GB |
| NVIDIA GeForce RTX 4090 | Q8_0 | 13.9 GB |
| NVIDIA Tesla M40 24GB | Q8_0 | 13.9 GB |
| NVIDIA Tesla P40 | Q8_0 | 13.9 GB |
| AMD Radeon RX 7900 XT | Q8_0 | 13.9 GB |
| Intel Arc A770 16GB | Q8_0 | 13.9 GB |
| NVIDIA GeForce RTX 4070 Ti Super | Q8_0 | 13.9 GB |
| NVIDIA GeForce RTX 4080 Super | Q8_0 | 13.9 GB |
| NVIDIA GeForce RTX 5080 | Q8_0 | 13.9 GB |
| NVIDIA GeForce RTX 3060 12GB | Q4_K_M | 8.8 GB |