Lokale KI Hardware-Guide 2026: GPU, VRAM, RAM und Mini-PC richtig wählen

Auf einen Blick: Lokale KI steht und fällt mit dem verfügbaren VRAM – nicht mit CPU-Takt oder RAM-Geschwindigkeit. Ein 7B-Modell läuft quantisiert in 6–8 GB VRAM, ein 70B-Modell braucht mindestens 40 GB. Wer kein Budget für eine dedizierte GPU hat, fährt mit Apple Silicon (dank Unified Memory) oder einem gut bestückten Mini-PC oft besser als mit einer günstigen Nvidia-Karte ohne ausreichend Speicher. Die Faustregel: Erst die Modellgröße festlegen, dann die Hardware kaufen – nie umgekehrt.

Lokale KI Hardware-Anforderungen: Was wirklich zählt

Lokale KI – also das Ausführen großer Sprachmodelle (LLMs) auf dem eigenen Rechner – hat einen klaren Engpass: den VRAM der Grafikkarte. Wer diesen Punkt verstanden hat, trifft bessere Kaufentscheidungen als jemand, der blind auf Benchmark-Tabellen schaut. Die zentrale Frage lautet also nicht „Welche GPU ist die schnellste?“, sondern „Wie viel VRAM braucht mein Modell?“.

Das liegt an der Arbeitsweise von LLMs: Alle Gewichte eines Modells müssen während der Inferenz im schnellen Grafikspeicher liegen. Reicht der VRAM nicht, weicht die Software auf den Systemspeicher (RAM) aus – und das senkt die Geschwindigkeit je nach Setup um den Faktor 5 bis 20. Ein Modell, das per Ollama eigentlich flott laufen sollte, kriecht dann so langsam, dass es für den Praxiseinsatz kaum taugt.

Die übrigen Komponenten spielen eine Rolle, sind aber nachgeordnet:

• RAM (Systemspeicher): Wichtig, wenn Modelle teilweise auf der CPU laufen. 32 GB sind für einen lokalen KI-Rechner das sinnvolle Minimum.
• CPU: Bestimmt die Geschwindigkeit im reinen CPU-Betrieb. Für GPU-Inferenz kaum relevant.
• Speicher (SSD): Modelldateien sind groß (4–40 GB pro Datei). Eine NVMe-SSD ★ mit 1 TB ist Minimum, 2 TB komfortabel.
• PCIe-Bandbreite: Beim Transfer zwischen CPU und GPU messbar, aber für die meisten KMU-Setups kein Flaschenhals.

Wer lokal KI betreiben will, legt also zuerst die benötigte Modellgröße fest – und sucht erst dann die passende Hardware. Welche Modelle sich für welchen Zweck eignen, klärt der Schwester-Artikel Llama vs. Qwen vs. Mistral vs. DeepSeek.

Wie viel VRAM für ein LLM? Tabelle nach Modellgröße

Die folgende Tabelle zeigt den VRAM-Bedarf typischer Modellgrößen in zwei Quantisierungsstufen: voller Präzision (FP16) und 4-Bit-Quantisierung (Q4_K_M) im GGUF-Format. Die Werte enthalten einen kleinen Aufschlag für Kontext und KV-Cache und sind als Richtwerte zu lesen. Stand: Juni 2026.

Praktische Faustregel: Ein 7B-Modell in Q4 läuft auf fast jeder Mittelklasse-GPU. Ein 13B-Modell braucht schon 10–12 GB VRAM. Alles ab 30B ist für Einzelkarten-Setups unter 800 Euro kaum realistisch – außer mit Apple Silicon und dessen Unified Memory, mehr dazu weiter unten.

Wie Quantisierung den VRAM-Bedarf überhaupt so drastisch senkt, erklärt der Schwester-Artikel GGUF und Quantisierung verständlich erklärt.

Welche GPU für lokale KI? RTX 4060 bis 4090, Gebraucht und AMD

Nvidia dominiert bei lokaler KI – nicht weil die Hardware zwingend besser ist, sondern weil das Ökosystem (CUDA, cuBLAS, Flash Attention) Jahre voraus ist. Die meisten Tools – darunter Ollama, llama.cpp und LM Studio – laufen auf Nvidia-Hardware am zuverlässigsten.

Stand Juni 2026 sind folgende Nvidia-Karten für KMU-Setups interessant. Angegeben sind europäische Straßenpreise (Geizhals-Spannen), keine US-Listenpreise:

Gebrauchte GPUs: Auf dem Gebrauchtmarkt (eBay Kleinanzeigen, BackMarket) finden sich RTX 3090 (24 GB VRAM) für 500–700 Euro. Das ist einer der besten Werte für lokale KI überhaupt – viel VRAM, bewährte CUDA-Unterstützung, einzige Schwäche ist der Stromverbrauch (300–350 W). Die RTX 3080 (10 GB) ist günstiger, ihr VRAM reicht für 13B-Modelle aber nicht aus.

AMD: RX 7900 XTX (24 GB) und RX 7900 XT (20 GB) haben auf dem Papier ausreichend VRAM. In der Praxis ist ROCm – AMDs Pendant zu CUDA – unter Linux akzeptabel, unter Windows aber nach wie vor ein Bastelprojekt. Wer Zeit und Geduld mitbringt, für den ist AMD eine valide Option. Wer Plug-and-play will, bleibt bei Nvidia.

Apple Silicon und Unified Memory: Warum der Mac Mini M4 eine eigene Liga ist

Apple Silicon – also M1, M2, M3 und M4 – hat für lokale KI einen strukturellen Vorteil: Der Unified Memory ist sowohl für CPU als auch GPU zugänglich. Es gibt keinen separaten VRAM-Pool, der zum Engpass wird.

Das bedeutet konkret: Ein Mac Mini M4 Pro mit 48 GB RAM verhält sich bei lokaler KI so, als hätte er 48 GB VRAM. Ein Mac Studio M3 Ultra mit bis zu 192 GB RAM kann sogar 70B-Modelle in hoher Qualität betreiben – etwas, das mit einer einzelnen Nvidia-Karte schlicht nicht möglich ist.

Die relevanten Konfigurationen Stand Juni 2026 (Preise je nach SSD-Ausbau):

• Mac Mini M4 (16 GB): ca. 820–900 €. Gut für 7B–13B, reicht für den KMU-Alltag. (Die alte 599-USD-Einstiegskonfiguration ist nicht mehr erhältlich.)
• Mac Mini M4 Pro (24 GB): ca. 1.350–1.450 €. 13B–30B-Modelle problemlos. Klarer Sweet Spot.
• Mac Mini M4 Pro (48 GB): ca. 2.400–2.600 €. 30B sauber, Ausschnitte von 70B-Modellen.
• Mac Studio M4 Max (64–128 GB): ab ca. 2.500 €. Für alle gängigen Modelle ausreichend.
• Mac Studio M3 Ultra (96–192 GB): ab ca. 4.500 €. Für 70B-Modelle in hoher Qualität die aktuelle Wahl.

Ein weiterer Vorteil: Apple Silicon ist sehr sparsam. Ein Mac Mini M4 zieht im KI-Betrieb 30–60 Watt – ein Bruchteil einer RTX-4090-Konfiguration. Für den Homelab- oder 24/7-Betrieb macht das einen erheblichen Kostenunterschied, den der Abschnitt zum TCO weiter unten in Euro beziffert.

Die Kehrseite: kein Fine-Tuning mit großen Batches, kein Multi-GPU-Scaling, Bindung ans Apple-Ökosystem. Wer ausschließlich Inferenz betreiben will – also Modelle abfragen, nicht trainieren – ist mit Apple Silicon trotzdem oft am besten bedient.

Mini-PC für lokale KI 2026: N100, N305, Beelink und GMKtec als stiller 24/7-Server

Nicht jeder möchte einen vollwertigen Desktop-PC dauerhaft laufen lassen. Für Szenarien wie einen immer verfügbaren KI-Assistenten, einen RAG-Server für eigene Dokumente oder ein internes API-Gateway sind Mini-PCs eine interessante Option.

Die gängigsten Intel-Chips in diesem Segment sind der Intel N100 und der Intel Core i3-N305 (beide auf Basis von „Alder Lake-N“ mit Gracemont-E-Cores, effizient, passiv kühlbar). Marken wie Beelink (SER-Serie), GMKtec (NucBox) und Minisforum (UM-Serie) bauen um diese Chips herum kompakte Mini-PCs ★ für 150–350 Euro.

Was diese Mini-PCs leisten – und was nicht:

• Stärken: Sehr niedriger Stromverbrauch (10–25 W), lautlos, günstig, 24/7-tauglich, ausreichend RAM (bis 32 GB aufrüstbar).
• Schwächen: Keine dedizierte GPU, integrierte Grafik ohne KI-Beschleunigung (CUDA fehlt), beschränkte CPU-Leistung.
• Realistische Nutzung: 7B-Modelle in Q4 via CPU-Inferenz, ca. 3–8 Token/Sekunde. Für Gelegenheitsnutzung und Hintergrundaufgaben ausreichend, für interaktiven Chat auf Dauer zäh.

Wer einen Mini-PC als KI-Server plant, sollte mindestens 32 GB DDR5-RAM ★ einplanen; mit 16 GB wird es bei 13B-Modellen eng. Die Intel-NPU (Neural Processing Unit) in neueren Chips beschleunigt zwar bestimmte Inferenz-Workloads, ihre Software-Unterstützung ist Stand 2026 aber noch begrenzt – Hintergründe dazu im NPU-Glossar.

CPU-only und reiner RAM-Betrieb: Was ohne dedizierte GPU geht

llama.cpp und damit auch Ollama unterstützen reinen CPU-Betrieb. Wer also einen normalen Büro-PC oder Laptop hat, kann sofort starten – die Frage ist nur, wie schnell.

Typische Token-Geschwindigkeiten auf gängiger Hardware (Q4_K_M, 7B-Modell, Stand 06/2026):

Für einfache Aufgaben wie Textzusammenfassung, bei denen man eine Anfrage absetzt und ein paar Sekunden auf die Antwort wartet, reicht CPU-only. Für interaktiven Chat oder Batch-Verarbeitung wirkt es schnell zäh. Ab 13B-Modellen wird CPU-only selbst auf starker Hardware ungemütlich langsam.

Wer ohne Hardwarekauf anfangen will, findet im Schwester-Artikel Lokale KI einrichten: Der komplette Einsteiger-Guide eine Schritt-für-Schritt-Anleitung für den Start mit vorhandener Hardware. Eine konkrete Installationsanleitung für ein konkretes Modell liefert Llama 3.3 lokal installieren.

Quantisierung als Hardware-Hebel: Wie Q4 den VRAM-Bedarf halbiert

Quantisierung ist der wichtigste Hebel, wenn du vorhandene Hardware besser ausnutzen willst. Das Prinzip: Statt die Modellgewichte in voller 16-Bit-Präzision zu speichern, werden sie auf 4 oder 5 Bit reduziert. Der VRAM-Bedarf sinkt dabei auf rund 30–35 % des Ausgangswertes – bei überraschend geringem Qualitätsverlust.

Grobe Qualitätsabstufung der gängigen Formate:

• Q8_0: Kaum Qualitätsverlust, ~50 % VRAM-Einsparung gegenüber FP16.
• Q5_K_M: Sehr gutes Gleichgewicht, für die meisten Anwendungen empfehlenswert.
• Q4_K_M: Standard-Empfehlung, deutlich kleiner, minimaler Qualitätsverlust.
• Q3_K_M: Merklicher Qualitätsverlust, nur wenn VRAM stark begrenzt ist.
• Q2_K: Stark degradiert, nur für Experimente sinnvoll.

In der Praxis heißt das: Ein 13B-Modell in Q4_K_M passt mit ~9 GB in eine RTX 4060 Ti (16 GB) ★ – in FP16 wären 28 GB nötig. Quantisierung ist damit oft die günstigste „Hardware-Aufrüstung“ überhaupt. Den ausführlichen technischen Hintergrund liefert GGUF und Quantisierung verständlich erklärt.

Entscheidungsmatrix nach Budget und Anwendungsfall

Die folgende Tabelle fasst reale Kaufempfehlungen nach Budget zusammen. Die Preise sind Richtwerte Stand Juni 2026 (europäische Straßenpreise), Schwankungen von ±15 % sind normal.

Welche Modelle für welchen Anwendungsfall taugen, ordnet der Artikel Llama vs. Qwen vs. Mistral vs. DeepSeek ein. Bei der Wahl der Inferenz-Software hilft Ollama vs. LM Studio vs. Open WebUI. Wer das Ganze im KMU-Kontext der Datenschutz-Konformität betrachtet, sollte zusätzlich DSGVO & KI im Mittelstand lesen.

Stromverbrauch und TCO: Was der Dauerbetrieb wirklich kostet

Wer einen lokalen KI-Server 24/7 betreibt, sollte die Stromkosten im Blick behalten. Der TCO (Total Cost of Ownership) setzt sich aus Anschaffungs- und laufenden Kosten zusammen – und bei dauerhaftem Betrieb summiert sich Letzteres spürbar.

Orientierungswerte für typische Setups (Annahme: 0,30 €/kWh, Dauerbetrieb 8.760 Stunden/Jahr; reale Werte liegen niedriger, weil kaum ein Server durchgehend unter Volllast steht):

Das Fazit ist eindeutig: Wer einen Immer-an-Server plant, spart mit Apple Silicon oder einem Mini-PC über 3–4 Jahre mehrere hundert Euro an Stromkosten – oft mehr als der Aufpreis gegenüber der günstigeren Hardware ausmacht. Eine RTX 4090 ★ unter dauerhafter Last kann über 3 Jahre rund 2.500–3.000 Euro Strom kosten.

Wer diese Kosten ganz vermeiden will und nur gelegentlich größere Modelle braucht, kann mit Cloud-GPU-Diensten wie RunPod (stundenweise GPU mieten ★ – beachte: die Daten verlassen dabei deinen Rechner, prüfe Datenresidenz und DSGVO, viele RunPod-Regionen liegen außerhalb der EU) on-demand skalieren – als Ergänzung, nicht als Ersatz für lokale Hardware. Für viele KMU ist die Kombination aus sparsamer lokaler Inferenz und gelegentlicher Cloud-GPU der wirtschaftlichste Weg.

Einen vollständigen Überblick zum Einstieg in die lokale KI – von der Software-Installation bis zur ersten Abfrage – bietet der Schwester-Artikel Lokale KI einrichten: Der komplette Einsteiger-Guide. Wer eigene Dokumente lokal durchsuchbar machen möchte, liest RAG selbst bauen.

★ = Affiliate-Link. Kaufst du darüber, erhalten wir eine kleine Provision — ohne Mehrkosten für dich. Unsere Empfehlungen sind davon unabhängig (mehr).

Häufige Fragen

Wie viel VRAM brauche ich für ein 7B LLM lokal?

Ein 7B-Modell in 4-Bit-Quantisierung (Q4_K_M) belegt rund 5–6 GB VRAM. Eine RTX 4060 mit 8 GB VRAM reicht damit aus. In FP16 (volle Präzision) wären rund 16 GB nötig – das macht Quantisierung zum wichtigsten Hardware-Hebel.

Welche GPU ist am besten für lokale KI unter 500 Euro?

Stand Juni 2026 ist die gebrauchte RTX 3090 (24 GB VRAM) für 500–700 Euro der beste Wert in diesem Bereich – viel VRAM, bewährtes CUDA, einzige Schwäche ist der Stromverbrauch. Neu ist die RTX 4060 (8 GB, ca. 280–330 Euro) für 7B-Modelle ausreichend; die RTX 4060 Ti 16 GB (ca. 470–560 Euro) liegt knapp über der 500-Euro-Marke, bietet aber das beste Preis-Leistungs-Verhältnis für 13B-Modelle.

Kann ich lokale KI auf einem Mini-PC betreiben?

Ja, aber mit Einschränkungen. Ein Mini-PC mit Intel N100 oder Intel Core i3-N305 (32 GB RAM) betreibt 7B-Modelle in Q4 mit rund 3–8 Token/Sekunde – langsam, aber für Hintergrundaufgaben und 24/7-Betrieb ausreichend. Für interaktiven Chat mit 13B-Modellen und größer braucht man eine dedizierte GPU oder Apple Silicon.

Ist Apple Silicon besser als eine Nvidia GPU für lokale KI?

Für reine Inferenz oft ja. Apple Silicon nutzt Unified Memory – das bedeutet, 64 GB RAM stehen praktisch als 64 GB 'VRAM' zur Verfügung. Ein Mac Mini M4 Pro mit 48 GB kann 30B-Modelle betreiben, die keine einzelne Nvidia-Karte unter 2.000 Euro schafft. Nachteile: kein CUDA, kein Fine-Tuning mit großen Batches, Bindung ans Apple-Ökosystem.

Welche Hardware empfiehlt sich für Ollama?

Ollama läuft auf nahezu jeder Hardware – die Frage ist die Geschwindigkeit. Für interaktiven Betrieb empfiehlt sich eine Nvidia-GPU mit mindestens 8 GB VRAM (RTX 4060) für 7B-Modelle oder 16 GB (RTX 4060 Ti) für 13B. Auf dem Mac nutzt Ollama automatisch das Unified Memory von Apple Silicon. Reiner CPU-Betrieb funktioniert, ist bei 7B mit 3–12 Token/Sekunde aber nur für Gelegenheitsnutzung praktikabel.

Was ist der Unterschied zwischen VRAM und RAM bei lokaler KI?

VRAM (Grafikspeicher) ist der dedizierte Speicher der GPU – sehr schnell und direkt von der GPU genutzt. RAM (Systemspeicher) ist langsamer, aber günstiger und in größeren Mengen verfügbar. Passt ein Modell nicht in den VRAM, weicht Ollama auf den RAM aus – das verlangsamt die Inferenz um den Faktor 5 bis 20. Bei Apple Silicon entfällt diese Trennung: Dort ist alles Unified Memory.

Lohnt sich lokale KI für KMU finanziell gegenüber Cloud-APIs?

Das hängt vom Nutzungsvolumen ab. Bei intensiver täglicher Nutzung (viele Anfragen, lange Kontexte) amortisiert sich lokale Hardware oft in 6–18 Monaten gegenüber Cloud-API-Kosten. Dazu kommt der DSGVO-Vorteil: Es verlassen keine Daten das Unternehmen. Für gelegentliche Nutzung lohnt sich Cloud-GPU-on-demand wie RunPod meist mehr.