Welche GPU für Llama 3.3 70B lokal?
Welche GPU brauche ich für Llama 3.3 70B lokal?
Llama 3.3 70B hat 70 Milliarden Parameter und stammt von Meta. Laut VRAM-Rechner der KI-Rundschau braucht Llama 3.3 70B in der Quantisierung Q4_K_M rund 42,8 GB Grafikspeicher, in Q8_0 rund 72,6 GB (berechnet für 8k Kontext mit mindestens 0,5 GB Reserve). Von 22 erfassten GPUs und Apple-Rechnern haben 9 genug Speicher für Q4_K_M und 4 auch für Q8_0. Die kleinste passende Karte hat 48 GB: NVIDIA L40S, NVIDIA RTX 6000 Ada Generation und NVIDIA RTX A6000.
Diese GPUs können Llama 3.3 70B in mindestens einer praktikablen Quantisierung fahren — sortiert nach Preis pro GB VRAM.
| GPU | beste Quant | VRAM-Bedarf | Tokens/Sek | Preis | €/GB |
|---|---|---|---|---|---|
| Apple Mac mini M4 Pro 64GB | Q4_K_M | 42.8 GB | — | — | — |
| Apple Mac Studio M3 Ultra 192GB | Q8_0 | 72.6 GB | — | — | — |
| Apple Mac Studio M3 Ultra 96GB | Q8_0 | 72.6 GB | — | — | — |
| Apple MacBook Pro M4 Max 128GB | Q8_0 | 72.6 GB | — | — | — |
| Apple MacBook Pro M4 Max 64GB | Q4_K_M | 42.8 GB | — | — | — |
| NVIDIA H100 80GB | Q8_0 | 72.6 GB | — | — | — |
| NVIDIA L40S | Q4_K_M | 42.8 GB | — | — | — |
| NVIDIA RTX 6000 Ada Generation | Q4_K_M | 42.8 GB | — | — | — |
| NVIDIA RTX A6000 | Q4_K_M | 42.8 GB | — | — | — |