Mistral Nemo 12B
Mistral AI · 12 Mrd. Parameter · Apache-2.0
Kollaboration Mistral × NVIDIA. 128k Kontext. Apache-2.0.
Lizenz: Apache-2.0. Apache 2.0 ist eine der permissivsten Open-Source-Lizenzen — kommerzielle Nutzung, Modifikation und Weiterverbreitung uneingeschränkt erlaubt, inklusive Patent-Klausel. Das macht Mistral Nemo 12B besonders interessant für On-Prem-Deployments in Unternehmen, kommerzielle SaaS-Produkte und Embedded-Lösungen.
Mit 12 Mrd. Parametern positioniert sich Mistral Nemo 12B im mittleren Segment. Q4_K_M-Quantisierung braucht etwa 10 GB VRAM — RTX 3060 12GB ist die untere Grenze, RTX 4080 Super (16GB) oder 4090 (24GB) der Komfort-Bereich. Auf Mac mini M4 mit 16+ GB Unified Memory ebenfalls flüssig.
Mit 128k Tokens Kontext (~96k Wörter) eignet sich Mistral Nemo 12B für lange Texte, Multi-Dokument-RAG und umfangreiche System-Prompts ohne Chunking-Overhead.
Deutsch-Qualität: gut. Solide deutsche Ausgabe für die meisten produktiven Use-Cases — gelegentlich englische Phrasen oder leichte Holprigkeiten, aber überzeugend.
Mistral Nemo 12B lokal: Welche GPU brauche ich?
22 GPUs können Mistral Nemo 12B in mindestens einer praktikablen Quantisierung fahren — sortiert nach VRAM-Kapazität. Tokens/Sek-Werte werden manuell aus Community-Benchmarks gepflegt (siehe Confidence-Badges auf den Detailseiten).
| GPU | Beste Quant | VRAM-Bedarf |
|---|---|---|
| Apple Mac Studio M3 Ultra 192GB | Q8_0 | 13.9 GB |
| Apple MacBook Pro M4 Max 128GB | Q8_0 | 13.9 GB |
| Apple Mac Studio M3 Ultra 96GB | Q8_0 | 13.9 GB |
| NVIDIA H100 80GB | Q8_0 | 13.9 GB |
| Apple Mac mini M4 Pro 64GB | Q8_0 | 13.9 GB |
| Apple MacBook Pro M4 Max 64GB | Q8_0 | 13.9 GB |
| NVIDIA L40S | Q8_0 | 13.9 GB |
| NVIDIA RTX 6000 Ada Generation | Q8_0 | 13.9 GB |
| NVIDIA RTX A6000 | Q8_0 | 13.9 GB |
| NVIDIA GeForce RTX 5090 | Q8_0 | 13.9 GB |
| AMD Radeon RX 7900 XTX | Q8_0 | 13.9 GB |
| NVIDIA GeForce RTX 3090 Ti | Q8_0 | 13.9 GB |
| NVIDIA GeForce RTX 3090 | Q8_0 | 13.9 GB |
| NVIDIA GeForce RTX 4090 | Q8_0 | 13.9 GB |
| NVIDIA Tesla M40 24GB | Q8_0 | 13.9 GB |
| NVIDIA Tesla P40 | Q8_0 | 13.9 GB |
| AMD Radeon RX 7900 XT | Q8_0 | 13.9 GB |
| Intel Arc A770 16GB | Q8_0 | 13.9 GB |
| NVIDIA GeForce RTX 4070 Ti Super | Q8_0 | 13.9 GB |
| NVIDIA GeForce RTX 4080 Super | Q8_0 | 13.9 GB |
| NVIDIA GeForce RTX 5080 | Q8_0 | 13.9 GB |
| NVIDIA GeForce RTX 3060 12GB | Q4_K_M | 8.8 GB |