NVIDIA GeForce RTX 4090
NVIDIA · Ada Lovelace · 2022
Die NVIDIA GeForce RTX 4090 ist eine aktuelle Consumer-GPU aus der Ada Lovelace-Generation von 2022. NVIDIAs CUDA-Ökosystem ist der De-facto-Standard für lokale LLM-Inferenz — sämtliche Runtimes (llama.cpp, vLLM, exllama, Ollama) sind hier am ausgereiftesten.
Mit 24 GB GDDR6X und einer Bandbreite von 1008 GB/s positioniert sich die Karte im oberen Mittelfeld: 32B-Modelle laufen komfortabel in Q4, 70B brauchen Auslagerung oder ein zweites Device. Die Bandbreite (1008 GB/s) ist der eigentliche Bottleneck bei Inferenz — Token-Generierung skaliert nahezu linear mit GB/s.
Mit 450 W TDP gehört diese Karte zu den hungrigsten am Markt — bei dauerhafter Inferenz-Last und österreichischen Strompreisen (~25 ct/kWh) kostet das im 24/7-Betrieb etwa 81 € pro Monat.
Auf dieser Seite siehst du unten konkrete Benchmark-Daten: welches Modell in welcher Quantisierung passt, geschätzter VRAM-Verbrauch inklusive KV-Cache (8k Kontext), Confidence-Badge je Datenpunkt und Quelle. Für aktuelle Preise nutze den Affiliate-Link.
Welche KI-Modelle laufen auf der NVIDIA GeForce RTX 4090?
Die NVIDIA GeForce RTX 4090 hat 24 GB Grafikspeicher (VRAM). Laut VRAM-Rechner der KI-Rundschau passen darauf 9 von 10 erfassten Modellen mit offenen Gewichten in Q4_K_M und 5 in Q8_0 (berechnet für 8k Kontext mit mindestens 0,5 GB Reserve). Das größte passende Modell ist Qwen 2.5 32B mit 32 Milliarden Parametern. Nicht in Q4_K_M passen Llama 3.3 70B.
Berechnung mit GQA-korrigiertem KV-Cache bei 8k Kontext. ✓ heißt: passt in VRAM mit ~0,5 GB Reserve. Tokens/Sek-Messungen werden iterativ aus Community-Benchmarks ergänzt — Confidence-Badge zeigt den Datenstand.
| Modell | Quant | passt | VRAM | Runtime | Confidence |
|---|---|---|---|---|---|
| Llama 3.2 3B | Q4_K_M | ✓ | 3.4 GB | llama.cpp | gemessen |
| Llama 3.2 3B | Q8_0 | ✓ | 4.6 GB | llama.cpp | gemessen |
| Qwen 2.5 7B | Q4_K_M | ✓ | 5.2 GB | llama.cpp | gemessen |
| Qwen 2.5 7B | Q8_0 | ✓ | 8.2 GB | llama.cpp | gemessen |
| Llama 3.1 8B | Q4_K_M | ✓ | 6.3 GB | llama.cpp | gemessen |
| Llama 3.1 8B | Q8_0 | ✓ | 9.7 GB | llama.cpp | gemessen |
| Mistral Nemo 12B | Q4_K_M | ✓ | 8.8 GB | llama.cpp | gemessen |
| Mistral Nemo 12B | Q8_0 | ✓ | 13.9 GB | llama.cpp | gemessen |
| Phi-4 14B | Q4_K_M | ✓ | 9.9 GB | llama.cpp | gemessen |
| Phi-4 14B | Q8_0 | ✓ | 15.9 GB | llama.cpp | gemessen |
| Mistral Small 3 24B | Q4_K_M | ✓ | 15.9 GB | llama.cpp | gemessen |
| Mistral Small 3 24B | Q8_0 | ✗ | 26.1 GB | llama.cpp | gemessen |
| Qwen 2.5 32B | Q4_K_M | ✓ | 20.9 GB | llama.cpp | gemessen |
| DeepSeek R1 Distill Qwen 32B | Q4_K_M | ✓ | 20.9 GB | llama.cpp | gemessen |
| Qwen 2.5 Coder 32B | Q4_K_M | ✓ | 20.9 GB | llama.cpp | gemessen |
| Qwen 2.5 32B | Q8_0 | ✗ | 34.5 GB | llama.cpp | gemessen |
| DeepSeek R1 Distill Qwen 32B | Q8_0 | ✗ | 34.5 GB | llama.cpp | gemessen |
| Qwen 2.5 Coder 32B | Q8_0 | ✗ | 34.5 GB | llama.cpp | gemessen |
| Llama 3.3 70B | Q4_K_M | ✗ | 42.8 GB | llama.cpp | gemessen |
| Llama 3.3 70B | Q8_0 | ✗ | 72.6 GB | llama.cpp | gemessen |
Stand: 2026-10-12