NVIDIA GeForce RTX 3060 12GB
NVIDIA · Ampere · 2021
Die NVIDIA GeForce RTX 3060 12GB ist eine aktuelle Consumer-GPU aus der Ampere-Generation von 2021. NVIDIAs CUDA-Ökosystem ist der De-facto-Standard für lokale LLM-Inferenz — sämtliche Runtimes (llama.cpp, vLLM, exllama, Ollama) sind hier am ausgereiftesten.
Mit 12 GB GDDR6 und einer Bandbreite von 360 GB/s positioniert sich die Karte im Einstiegssegment: ideal für 7B/8B in Q4_K_M, größere Modelle sind unrealistisch. Die Bandbreite (360 GB/s) ist der eigentliche Bottleneck bei Inferenz — Token-Generierung skaliert nahezu linear mit GB/s.
Mit 170 W TDP ist die Karte vergleichsweise sparsam — ein 24/7-Betrieb kostet bei österreichischen Strompreisen rund 31 €/Monat.
Auf dieser Seite siehst du unten konkrete Benchmark-Daten: welches Modell in welcher Quantisierung passt, geschätzter VRAM-Verbrauch inklusive KV-Cache (8k Kontext), Confidence-Badge je Datenpunkt und Quelle. Für aktuelle Preise nutze den Affiliate-Link.
Welche KI-Modelle laufen auf der NVIDIA GeForce RTX 3060 12GB?
Die NVIDIA GeForce RTX 3060 12GB hat 12 GB Grafikspeicher (VRAM). Laut VRAM-Rechner der KI-Rundschau passen darauf 5 von 10 erfassten Modellen mit offenen Gewichten in Q4_K_M und 3 in Q8_0 (berechnet für 8k Kontext mit mindestens 0,5 GB Reserve). Das größte passende Modell ist Phi-4 14B mit 14 Milliarden Parametern. Nicht in Q4_K_M passen Mistral Small 3 24B, Qwen 2.5 32B, DeepSeek R1 Distill Qwen 32B, Qwen 2.5 Coder 32B und Llama 3.3 70B.
Berechnung mit GQA-korrigiertem KV-Cache bei 8k Kontext. ✓ heißt: passt in VRAM mit ~0,5 GB Reserve. Tokens/Sek-Messungen werden iterativ aus Community-Benchmarks ergänzt — Confidence-Badge zeigt den Datenstand.
| Modell | Quant | passt | VRAM | Runtime | Confidence |
|---|---|---|---|---|---|
| Llama 3.2 3B | Q4_K_M | ✓ | 3.4 GB | llama.cpp | gemessen |
| Llama 3.2 3B | Q8_0 | ✓ | 4.6 GB | llama.cpp | gemessen |
| Qwen 2.5 7B | Q4_K_M | ✓ | 5.2 GB | llama.cpp | gemessen |
| Qwen 2.5 7B | Q8_0 | ✓ | 8.2 GB | llama.cpp | gemessen |
| Llama 3.1 8B | Q4_K_M | ✓ | 6.3 GB | llama.cpp | gemessen |
| Llama 3.1 8B | Q8_0 | ✓ | 9.7 GB | llama.cpp | gemessen |
| Mistral Nemo 12B | Q4_K_M | ✓ | 8.8 GB | llama.cpp | gemessen |
| Mistral Nemo 12B | Q8_0 | ✗ | 13.9 GB | llama.cpp | gemessen |
| Phi-4 14B | Q4_K_M | ✓ | 9.9 GB | llama.cpp | gemessen |
| Phi-4 14B | Q8_0 | ✗ | 15.9 GB | llama.cpp | gemessen |
| Mistral Small 3 24B | Q4_K_M | ✗ | 15.9 GB | llama.cpp | gemessen |
| Mistral Small 3 24B | Q8_0 | ✗ | 26.1 GB | llama.cpp | gemessen |
| Qwen 2.5 32B | Q4_K_M | ✗ | 20.9 GB | llama.cpp | gemessen |
| DeepSeek R1 Distill Qwen 32B | Q4_K_M | ✗ | 20.9 GB | llama.cpp | gemessen |
| Qwen 2.5 Coder 32B | Q4_K_M | ✗ | 20.9 GB | llama.cpp | gemessen |
| Qwen 2.5 32B | Q8_0 | ✗ | 34.5 GB | llama.cpp | gemessen |
| DeepSeek R1 Distill Qwen 32B | Q8_0 | ✗ | 34.5 GB | llama.cpp | gemessen |
| Qwen 2.5 Coder 32B | Q8_0 | ✗ | 34.5 GB | llama.cpp | gemessen |
| Llama 3.3 70B | Q4_K_M | ✗ | 42.8 GB | llama.cpp | gemessen |
| Llama 3.3 70B | Q8_0 | ✗ | 72.6 GB | llama.cpp | gemessen |
Stand: 2026-10-12