GPUs für lokale KI

Wer Sprachmodelle (LLMs) lokal betreiben will, scheitert meist nicht an der Rechenleistung in TFLOPs, sondern am verfügbaren VRAM. Ein Llama-3.3-70B-Modell braucht in Q4_K_M-Quantisierung rund 43 GB Speicher — die meisten Consumer-GPUs sind damit überfordert.

Diese Datenbank listet die relevantesten Grafikkarten und Apple-Silicon-Rechner für KI-Inferenz im DACH-Raum: NVIDIA Consumer (RTX 4090, 5090), Pro/Datacenter (RTX 6000 Ada, L40S, H100), Gebraucht-Helden (RTX 3090, Tesla P40), AMD RDNA 3, Apple Unified Memory bis 192 GB sowie Intel Arc. Sortiert nach VRAM-Kapazität — dem wichtigsten Kriterium für lokale LLMs.