Open-Weights-Modelle
Sortiert nach Modellgröße. Lizenz-Spalte zeigt, welche Modelle wirklich offen sind (Apache-2.0, MIT) vs. solche mit Restriktionen (Llama-Community, Gemma). Deutsch-Qualität ist unsere subjektive Bewertung nach Testläufen.
Welche offenen KI-Modelle lassen sich lokal betreiben?
Der Modell-Katalog der KI-Rundschau führt 17 Sprachmodelle: 12 mit herunterladbaren Gewichten, die sich lokal betreiben lassen, und 5 proprietäre Modelle, die nur über die Hersteller-API laufen. Die lokal nutzbaren Modelle reichen von 3 bis 70 Milliarden Parametern. Unter den freizügigen (permissiven) Lizenzen Apache-2.0 oder MIT stehen 7 davon: Qwen 2.5 7B, Mistral Nemo 12B, Phi-4 14B, Mistral Small 3 24B, DeepSeek R1 Distill Qwen 32B, Qwen 2.5 32B und Qwen 2.5 Coder 32B. Die übrigen offenen Modelle haben Lizenzen mit Einschränkungen (Llama-3-Community und Gemma).
Welche KI-Modelle schreiben gut Deutsch?
Die Deutsch-Qualität im Modell-Katalog ist eine eigene, subjektive Bewertung der KI-Rundschau nach Testläufen, in den Stufen exzellent, gut, mittel und schwach. Als exzellent eingestuft sind Qwen 2.5 32B, Llama 3.3 70B, Claude 3.5 Sonnet und GPT-4o; davon lassen sich lokal betreiben: Qwen 2.5 32B und Llama 3.3 70B. Als schwach eingestuft ist Llama 3.2 3B. Die Bewertung ist kein standardisierter Benchmark, sondern ein Praxiseindruck.
| Modell | Params | Vendor | Lizenz | Offen? | Deutsch | Kontext | Release |
|---|---|---|---|---|---|---|---|
| Llama 3.2 3B | 3 B | Meta | Llama-3-Community | ✓ frei | schwach | 128k | 25.9.2024 |
| Qwen 2.5 7B | 7 B | Alibaba | Apache-2.0 | ✓ frei | gut | 128k | 18.9.2024 |
| GPT-4o mini | 8 B | OpenAI | proprietary | ⚠ Restriktion | gut | 125k | 18.7.2024 |
| Llama 3.1 8B | 8 B | Meta | Llama-3-Community | ✓ frei | gut | 128k | 23.7.2024 |
| Gemma 2 9B | 9 B | Gemma | ⚠ Restriktion | mittel | 8k | 27.6.2024 | |
| Mistral Nemo 12B | 12 B | Mistral AI | Apache-2.0 | ✓ frei | gut | 128k | 18.7.2024 |
| Phi-4 14B | 14 B | Microsoft | MIT | ✓ frei | mittel | 16k | 12.12.2024 |
| Claude 3.5 Haiku | 20 B | Anthropic | proprietary | ⚠ Restriktion | gut | 195k | 4.11.2024 |
| Mistral Small 3 24B | 24 B | Mistral AI | Apache-2.0 | ✓ frei | gut | 32k | 30.1.2025 |
| Gemma 2 27B | 27 B | Gemma | ⚠ Restriktion | gut | 8k | 27.6.2024 | |
| DeepSeek R1 Distill Qwen 32B | 32 B | DeepSeek | MIT | ✓ frei | gut | 128k | 20.1.2025 |
| Qwen 2.5 32B | 32 B | Alibaba | Apache-2.0 | ✓ frei | exzellent | 128k | 18.9.2024 |
| Qwen 2.5 Coder 32B | 32 B | Alibaba | Apache-2.0 | ✓ frei | n/a | 128k | 12.11.2024 |
| Llama 3.3 70B | 70 B | Meta | Llama-3-Community | ✓ frei | exzellent | 128k | 6.12.2024 |
| Claude 3.5 Sonnet | 200 B | Anthropic | proprietary | ⚠ Restriktion | exzellent | 195k | 22.10.2024 |
| GPT-4o | 200 B | OpenAI | proprietary | ⚠ Restriktion | exzellent | 125k | 13.5.2024 |
| Gemini 2.0 Flash | 200 B | proprietary | ⚠ Restriktion | gut | 977k | 5.2.2025 |
Zur Hardware: GPU-Directory · „Welche GPU für ein 70B-Modell?" /kann-ich/llama-3-3-70b