Welche GPU für Qwen 2.5 7B lokal?
Welche GPU brauche ich für Qwen 2.5 7B lokal?
Qwen 2.5 7B hat 7 Milliarden Parameter und stammt von Alibaba. Laut VRAM-Rechner der KI-Rundschau braucht Qwen 2.5 7B in der Quantisierung Q4_K_M rund 5,2 GB Grafikspeicher, in Q8_0 rund 8,2 GB (berechnet für 8k Kontext mit mindestens 0,5 GB Reserve). Von 22 erfassten GPUs und Apple-Rechnern haben 22 genug Speicher für Q4_K_M und 22 auch für Q8_0. Die kleinste passende Karte hat 12 GB: NVIDIA GeForce RTX 3060 12GB.
Diese GPUs können Qwen 2.5 7B in mindestens einer praktikablen Quantisierung fahren — sortiert nach Preis pro GB VRAM.
| GPU | beste Quant | VRAM-Bedarf | Tokens/Sek | Preis | €/GB |
|---|---|---|---|---|---|
| AMD Radeon RX 7900 XT | Q8_0 | 8.2 GB | — | — | — |
| AMD Radeon RX 7900 XTX | Q8_0 | 8.2 GB | — | — | — |
| Apple Mac mini M4 Pro 64GB | Q8_0 | 8.2 GB | — | — | — |
| Apple Mac Studio M3 Ultra 192GB | Q8_0 | 8.2 GB | — | — | — |
| Apple Mac Studio M3 Ultra 96GB | Q8_0 | 8.2 GB | — | — | — |
| Apple MacBook Pro M4 Max 128GB | Q8_0 | 8.2 GB | — | — | — |
| Apple MacBook Pro M4 Max 64GB | Q8_0 | 8.2 GB | — | — | — |
| Intel Arc A770 16GB | Q8_0 | 8.2 GB | — | — | — |
| NVIDIA H100 80GB | Q8_0 | 8.2 GB | — | — | — |
| NVIDIA L40S | Q8_0 | 8.2 GB | — | — | — |
| NVIDIA GeForce RTX 3060 12GB | Q8_0 | 8.2 GB | — | — | — |
| NVIDIA GeForce RTX 3090 Ti | Q8_0 | 8.2 GB | — | — | — |
| NVIDIA GeForce RTX 3090 | Q8_0 | 8.2 GB | — | — | — |
| NVIDIA GeForce RTX 4070 Ti Super | Q8_0 | 8.2 GB | — | — | — |
| NVIDIA GeForce RTX 4080 Super | Q8_0 | 8.2 GB | — | — | — |
| NVIDIA GeForce RTX 4090 | Q8_0 | 8.2 GB | — | — | — |
| NVIDIA GeForce RTX 5080 | Q8_0 | 8.2 GB | — | — | — |
| NVIDIA GeForce RTX 5090 | Q8_0 | 8.2 GB | — | — | — |
| NVIDIA RTX 6000 Ada Generation | Q8_0 | 8.2 GB | — | — | — |
| NVIDIA RTX A6000 | Q8_0 | 8.2 GB | — | — | — |
| NVIDIA Tesla M40 24GB | Q8_0 | 8.2 GB | — | — | — |
| NVIDIA Tesla P40 | Q8_0 | 8.2 GB | — | — | — |