Welche GPU für DeepSeek R1 Distill Qwen 32B lokal?
Welche GPU brauche ich für DeepSeek R1 Distill Qwen 32B lokal?
DeepSeek R1 Distill Qwen 32B hat 32 Milliarden Parameter und stammt von DeepSeek. Laut VRAM-Rechner der KI-Rundschau braucht DeepSeek R1 Distill Qwen 32B in der Quantisierung Q4_K_M rund 20,9 GB Grafikspeicher, in Q8_0 rund 34,5 GB (berechnet für 8k Kontext mit mindestens 0,5 GB Reserve). Von 22 erfassten GPUs und Apple-Rechnern haben 16 genug Speicher für Q4_K_M und 9 auch für Q8_0. Die kleinste passende Karte hat 24 GB: AMD Radeon RX 7900 XTX, NVIDIA GeForce RTX 3090 Ti, NVIDIA GeForce RTX 3090, NVIDIA GeForce RTX 4090, NVIDIA Tesla M40 24GB und NVIDIA Tesla P40.
Diese GPUs können DeepSeek R1 Distill Qwen 32B in mindestens einer praktikablen Quantisierung fahren — sortiert nach Preis pro GB VRAM.
| GPU | beste Quant | VRAM-Bedarf | Tokens/Sek | Preis | €/GB |
|---|---|---|---|---|---|
| AMD Radeon RX 7900 XTX | Q4_K_M | 20.9 GB | — | — | — |
| Apple Mac mini M4 Pro 64GB | Q8_0 | 34.5 GB | — | — | — |
| Apple Mac Studio M3 Ultra 192GB | Q8_0 | 34.5 GB | — | — | — |
| Apple Mac Studio M3 Ultra 96GB | Q8_0 | 34.5 GB | — | — | — |
| Apple MacBook Pro M4 Max 128GB | Q8_0 | 34.5 GB | — | — | — |
| Apple MacBook Pro M4 Max 64GB | Q8_0 | 34.5 GB | — | — | — |
| NVIDIA H100 80GB | Q8_0 | 34.5 GB | — | — | — |
| NVIDIA L40S | Q8_0 | 34.5 GB | — | — | — |
| NVIDIA GeForce RTX 3090 Ti | Q4_K_M | 20.9 GB | — | — | — |
| NVIDIA GeForce RTX 3090 | Q4_K_M | 20.9 GB | — | — | — |
| NVIDIA GeForce RTX 4090 | Q4_K_M | 20.9 GB | — | — | — |
| NVIDIA GeForce RTX 5090 | Q4_K_M | 20.9 GB | — | — | — |
| NVIDIA RTX 6000 Ada Generation | Q8_0 | 34.5 GB | — | — | — |
| NVIDIA RTX A6000 | Q8_0 | 34.5 GB | — | — | — |
| NVIDIA Tesla M40 24GB | Q4_K_M | 20.9 GB | — | — | — |
| NVIDIA Tesla P40 | Q4_K_M | 20.9 GB | — | — | — |