Mistral Small 3 24B
Mistral AI · 24 Mrd. Parameter · Apache-2.0
Französisch-EU. Apache-2.0. Gutes Deutsch. Im Sweet Spot zwischen 8B und 32B.
Lizenz: Apache-2.0. Apache 2.0 ist eine der permissivsten Open-Source-Lizenzen — kommerzielle Nutzung, Modifikation und Weiterverbreitung uneingeschränkt erlaubt, inklusive Patent-Klausel. Das macht Mistral Small 3 24B besonders interessant für On-Prem-Deployments in Unternehmen, kommerzielle SaaS-Produkte und Embedded-Lösungen.
Mistral Small 3 24B liegt mit 24 Mrd. Parametern in der Klasse, die 16+ GB VRAM voraussetzt. Q4_K_M braucht ca. 16-18 GB — eine RTX 4080 Super oder RTX 4090 ist hier Pflicht. Apple Mac Studio M4 Max mit 64 GB Unified Memory ist die produktivste lokale Plattform.
Das Kontextfenster von 32k Tokens ist solide für die meisten produktiven Use-Cases, aber knapp für sehr lange Dokumente oder umfangreiches RAG ohne sauberes Chunking.
Deutsch-Qualität: gut. Solide deutsche Ausgabe für die meisten produktiven Use-Cases — gelegentlich englische Phrasen oder leichte Holprigkeiten, aber überzeugend.
Welche GPU brauche ich für Mistral Small 3 24B lokal?
Mistral Small 3 24B hat 24 Milliarden Parameter und stammt von Mistral AI. Laut VRAM-Rechner der KI-Rundschau braucht Mistral Small 3 24B in der Quantisierung Q4_K_M rund 15,9 GB Grafikspeicher, in Q8_0 rund 26,1 GB (berechnet für 8k Kontext mit mindestens 0,5 GB Reserve). Von 22 erfassten GPUs und Apple-Rechnern haben 17 genug Speicher für Q4_K_M und 10 auch für Q8_0. Die kleinste passende Karte hat 20 GB: AMD Radeon RX 7900 XT.
17 GPUs können Mistral Small 3 24B in mindestens einer praktikablen Quantisierung fahren — sortiert nach VRAM-Kapazität. Tokens/Sek-Werte werden manuell aus Community-Benchmarks gepflegt (siehe Confidence-Badges auf den Detailseiten).
| GPU | Beste Quant | VRAM-Bedarf |
|---|---|---|
| Apple Mac Studio M3 Ultra 192GB | Q8_0 | 26.1 GB |
| Apple MacBook Pro M4 Max 128GB | Q8_0 | 26.1 GB |
| Apple Mac Studio M3 Ultra 96GB | Q8_0 | 26.1 GB |
| NVIDIA H100 80GB | Q8_0 | 26.1 GB |
| Apple Mac mini M4 Pro 64GB | Q8_0 | 26.1 GB |
| Apple MacBook Pro M4 Max 64GB | Q8_0 | 26.1 GB |
| NVIDIA L40S | Q8_0 | 26.1 GB |
| NVIDIA RTX 6000 Ada Generation | Q8_0 | 26.1 GB |
| NVIDIA RTX A6000 | Q8_0 | 26.1 GB |
| NVIDIA GeForce RTX 5090 | Q8_0 | 26.1 GB |
| AMD Radeon RX 7900 XTX | Q4_K_M | 15.9 GB |
| NVIDIA GeForce RTX 3090 Ti | Q4_K_M | 15.9 GB |
| NVIDIA GeForce RTX 3090 | Q4_K_M | 15.9 GB |
| NVIDIA GeForce RTX 4090 | Q4_K_M | 15.9 GB |
| NVIDIA Tesla M40 24GB | Q4_K_M | 15.9 GB |
| NVIDIA Tesla P40 | Q4_K_M | 15.9 GB |
| AMD Radeon RX 7900 XT | Q4_K_M | 15.9 GB |
Was kostet Mistral Small 3 24B über eine Cloud-API?
Mistral Small 3 24B ist in der Preistabelle der KI-Rundschau bei 2 Cloud-Anbietern erfasst. Den niedrigsten Input-Preis hat Mistral AI mit 0,18 € pro Million Tokens (Output 0,55 €). Als Anbieter mit EU-Hosting eingestuft sind Mistral AI und OVHcloud AI Endpoints. Die Preise sind aggregiert erfasst und in Euro umgerechnet; verbindlich ist die Preisseite des jeweiligen Anbieters.
2 Anbieter hosten dieses Modell. Sortiert nach Input-Preis. EU-Hosting-Spalte zeigt DSGVO-relevante Optionen.
| Anbieter | EU-Hosting | Input €/1M | Output €/1M |
|---|---|---|---|
| Mistral AI | ✓ | 0.18 | 0.55 |
| OVHcloud AI Endpoints | ✓ | 0.18 | 0.55 |