NVIDIA Tesla M40 24GB

Name: NVIDIA Tesla M40 24GB
Brand: NVIDIA

NVIDIA · Maxwell · 2015

VRAM

24 GB GDDR5

Bandbreite

288 GB/s

TDP

250 W

FP16

0.21 TFLOPs

Schnittstelle

PCIe 3.0 x16

Markt

gebraucht

Aktuellen Preis auf Amazon prüfen →Partnerlink — Kauf unterstützt KI-Rundschau

Die NVIDIA Tesla M40 24GB ist eine Datacenter-Karte aus der Maxwell-Generation von 2015. NVIDIAs CUDA-Ökosystem ist der De-facto-Standard für lokale LLM-Inferenz — sämtliche Runtimes (llama.cpp, vLLM, exllama, Ollama) sind hier am ausgereiftesten.

Mit 24 GB GDDR5 und einer Bandbreite von 288 GB/s positioniert sich die Karte im oberen Mittelfeld: 32B-Modelle laufen komfortabel in Q4, 70B brauchen Auslagerung oder ein zweites Device. Die Bandbreite (288 GB/s) ist der eigentliche Bottleneck bei Inferenz — Token-Generierung skaliert nahezu linear mit GB/s.

Mit 250 W TDP liegt der Verbrauch im typischen High-End-Bereich. Beim Dauerbetrieb auf Inferenz-Last kalkuliere ca. 45 €/Monat Strom (bei 25 ct/kWh).

Auf dieser Seite siehst du unten konkrete Benchmark-Daten: welches Modell in welcher Quantisierung passt, geschätzter VRAM-Verbrauch inklusive KV-Cache (8k Kontext), Confidence-Badge je Datenpunkt und Quelle. Für aktuelle Preise nutze den Affiliate-Link.

NVIDIA Tesla M40 24GB Benchmark-Matrix: Welche Modelle laufen?

Berechnung mit GQA-korrigiertem KV-Cache bei 8k Kontext. ✓ heißt: passt in VRAM mit ~0,5 GB Reserve. Tokens/Sek-Messungen werden iterativ aus Community-Benchmarks ergänzt — Confidence-Badge zeigt den Datenstand.

Modell	Quant	passt	VRAM	Runtime	Confidence
Llama 3.2 3B	Q4_K_M	✓	3.4 GB	llama.cpp	gemessen
Llama 3.2 3B	Q8_0	✓	4.6 GB	llama.cpp	gemessen
Qwen 2.5 7B	Q4_K_M	✓	5.2 GB	llama.cpp	gemessen
Qwen 2.5 7B	Q8_0	✓	8.2 GB	llama.cpp	gemessen
Llama 3.1 8B	Q4_K_M	✓	6.3 GB	llama.cpp	gemessen
Llama 3.1 8B	Q8_0	✓	9.7 GB	llama.cpp	gemessen
Mistral Nemo 12B	Q4_K_M	✓	8.8 GB	llama.cpp	gemessen
Mistral Nemo 12B	Q8_0	✓	13.9 GB	llama.cpp	gemessen
Phi-4 14B	Q4_K_M	✓	9.9 GB	llama.cpp	gemessen
Phi-4 14B	Q8_0	✓	15.9 GB	llama.cpp	gemessen
Mistral Small 3 24B	Q4_K_M	✓	15.9 GB	llama.cpp	gemessen
Mistral Small 3 24B	Q8_0	✗	26.1 GB	llama.cpp	gemessen
Qwen 2.5 32B	Q4_K_M	✓	20.9 GB	llama.cpp	gemessen
DeepSeek R1 Distill Qwen 32B	Q4_K_M	✓	20.9 GB	llama.cpp	gemessen
Qwen 2.5 Coder 32B	Q4_K_M	✓	20.9 GB	llama.cpp	gemessen
Qwen 2.5 32B	Q8_0	✗	34.5 GB	llama.cpp	gemessen
DeepSeek R1 Distill Qwen 32B	Q8_0	✗	34.5 GB	llama.cpp	gemessen
Qwen 2.5 Coder 32B	Q8_0	✗	34.5 GB	llama.cpp	gemessen
Llama 3.3 70B	Q4_K_M	✗	42.8 GB	llama.cpp	gemessen
Llama 3.3 70B	Q8_0	✗	72.6 GB	llama.cpp	gemessen

Stand: 2026-05-28