NVIDIA GeForce RTX 4090

Name: NVIDIA GeForce RTX 4090
Brand: NVIDIA

NVIDIA · Ada Lovelace · 2022

VRAM

24 GB GDDR6X

Bandbreite

1008 GB/s

TDP

450 W

FP16

82.6 TFLOPs

Schnittstelle

PCIe 4.0 x16

Markt

Consumer

Aktuellen Preis auf Amazon prüfen →Partnerlink — Kauf unterstützt KI-Rundschau

Die NVIDIA GeForce RTX 4090 ist eine aktuelle Consumer-GPU aus der Ada Lovelace-Generation von 2022. NVIDIAs CUDA-Ökosystem ist der De-facto-Standard für lokale LLM-Inferenz — sämtliche Runtimes (llama.cpp, vLLM, exllama, Ollama) sind hier am ausgereiftesten.

Mit 24 GB GDDR6X und einer Bandbreite von 1008 GB/s positioniert sich die Karte im oberen Mittelfeld: 32B-Modelle laufen komfortabel in Q4, 70B brauchen Auslagerung oder ein zweites Device. Die Bandbreite (1008 GB/s) ist der eigentliche Bottleneck bei Inferenz — Token-Generierung skaliert nahezu linear mit GB/s.

Mit 450 W TDP gehört diese Karte zu den hungrigsten am Markt — bei dauerhafter Inferenz-Last und österreichischen Strompreisen (~25 ct/kWh) kostet das im 24/7-Betrieb etwa 81 € pro Monat.

Auf dieser Seite siehst du unten konkrete Benchmark-Daten: welches Modell in welcher Quantisierung passt, geschätzter VRAM-Verbrauch inklusive KV-Cache (8k Kontext), Confidence-Badge je Datenpunkt und Quelle. Für aktuelle Preise nutze den Affiliate-Link.

NVIDIA GeForce RTX 4090 Benchmark-Matrix: Welche Modelle laufen?

Berechnung mit GQA-korrigiertem KV-Cache bei 8k Kontext. ✓ heißt: passt in VRAM mit ~0,5 GB Reserve. Tokens/Sek-Messungen werden iterativ aus Community-Benchmarks ergänzt — Confidence-Badge zeigt den Datenstand.

Modell	Quant	passt	VRAM	Runtime	Confidence
Llama 3.2 3B	Q4_K_M	✓	3.4 GB	llama.cpp	gemessen
Llama 3.2 3B	Q8_0	✓	4.6 GB	llama.cpp	gemessen
Qwen 2.5 7B	Q4_K_M	✓	5.2 GB	llama.cpp	gemessen
Qwen 2.5 7B	Q8_0	✓	8.2 GB	llama.cpp	gemessen
Llama 3.1 8B	Q4_K_M	✓	6.3 GB	llama.cpp	gemessen
Llama 3.1 8B	Q8_0	✓	9.7 GB	llama.cpp	gemessen
Mistral Nemo 12B	Q4_K_M	✓	8.8 GB	llama.cpp	gemessen
Mistral Nemo 12B	Q8_0	✓	13.9 GB	llama.cpp	gemessen
Phi-4 14B	Q4_K_M	✓	9.9 GB	llama.cpp	gemessen
Phi-4 14B	Q8_0	✓	15.9 GB	llama.cpp	gemessen
Mistral Small 3 24B	Q4_K_M	✓	15.9 GB	llama.cpp	gemessen
Mistral Small 3 24B	Q8_0	✗	26.1 GB	llama.cpp	gemessen
Qwen 2.5 32B	Q4_K_M	✓	20.9 GB	llama.cpp	gemessen
DeepSeek R1 Distill Qwen 32B	Q4_K_M	✓	20.9 GB	llama.cpp	gemessen
Qwen 2.5 Coder 32B	Q4_K_M	✓	20.9 GB	llama.cpp	gemessen
Qwen 2.5 32B	Q8_0	✗	34.5 GB	llama.cpp	gemessen
DeepSeek R1 Distill Qwen 32B	Q8_0	✗	34.5 GB	llama.cpp	gemessen
Qwen 2.5 Coder 32B	Q8_0	✗	34.5 GB	llama.cpp	gemessen
Llama 3.3 70B	Q4_K_M	✗	42.8 GB	llama.cpp	gemessen
Llama 3.3 70B	Q8_0	✗	72.6 GB	llama.cpp	gemessen

Stand: 2026-05-28