GGUF und Quantisierung verständlich erklärt: Q4, Q5, Q8 und der VRAM-Trick

Auf einen Blick

GGUF ist das heute dominierende Dateiformat für lokale Large Language Models. Die Quantisierung reduziert dabei die Dateigröße – und damit den VRAM-Bedarf – erheblich, kostet aber schrittweise Antwortqualität. Wer Q4_K_M statt Q8_0 wählt, spart rund die Hälfte des Speicherbedarfs bei kaum wahrnehmbarem Qualitätsverlust im Alltag. Für die meisten KMU-Setups ist Q4_K_M deshalb die richtige Standardwahl.

Warum jeder Ollama- und LM-Studio-Nutzer auf diese Kürzel stößt

Du richtest Ollama ein, tippst ollama pull llama3.2 – und wirst direkt mit Begriffen wie Q4_K_M, IQ3_XS oder Q8_0 konfrontiert. Auch in LM Studio ist die Modell-Auswahl voll davon. Was genau hinter diesen Abkürzungen steckt, erklärt kaum jemand auf Deutsch und ohne Akademiker-Prosa.

Genau das leistet dieser Artikel: Du verstehst danach, was die Kürzel bedeuten, wie du die richtige Stufe für deine Hardware wählst – und warum du fast immer nicht das größte verfügbare Quant brauchst. Der Guide gehört zu unserer Reihe über lokale KI; den Gesamtüberblick liefert der Lokale-KI-Einsteiger-Guide, konkrete Hardware-Fragen beantwortet der Hardware-Guide für lokale KI.

Was GGUF ist und warum das Format so verbreitet ist

GGUF steht für GGML Unified Format. Das Kürzel leitet sich aus „GGML" – der Tensor-Bibliothek hinter llama.cpp – und „Unified Format" ab, mit einem Nicken an die Initialen des Entwicklers Georgi Gerganov. Die oft kursierende Auflösung „GPT-Generated Unified Format" ist eine populäre, aber falsche Sekundärquelle; in der offiziellen Spezifikation taucht sie nicht auf. GGUF ist der Nachfolger des älteren GGML-Formats und wurde eingeführt, um Modelle portabler, erweiterbar und einfacher versionierbar zu machen. Seit 2023 hat es sich als De-facto-Standard für lokal laufende Open-Source-Modelle durchgesetzt.

Das Format hat drei entscheidende Vorteile:

• Alles in einer Datei: Modellgewichte, Tokenizer, Metadaten und Quantisierungsparameter landen in einer einzigen .gguf-Datei. Kein Zusammenstückeln aus mehreren Teilen.
• CPU- und GPU-fähig: llama.cpp – die Laufzeit hinter GGUF – führt Modelle auf der CPU, auf Apple Silicon (Metal) sowie auf NVIDIA- und AMD-GPUs aus. Sogar gemischter Betrieb (Teile im VRAM, Rest im RAM) ist möglich.
• Breite Tool-Unterstützung: Ollama, LM Studio, Jan, Open WebUI und llama.cpp selbst – alle verstehen GGUF.

Auf Hugging Face liegen inzwischen Hunderttausende GGUF-Dateien. Die bekanntesten Konvertierungen stammen von Nutzern wie bartowski oder TheBloke, die Basis-Modelle in verschiedenen Quantisierungsstufen aufbereiten. Eine dedizierte GPU ist dabei nicht zwingend nötig – wer keine hat, findet Optionen im Hardware-Abschnitt weiter unten oder bei Cloud-GPU-Anbietern wie Runpod.

LLM-Quantisierung in einem Satz: kleiner machen, Qualität bezahlen

Quantisierung bedeutet: Die Gewichte eines neuronalen Netzes – ursprünglich als 32-Bit- oder 16-Bit-Gleitkommazahlen gespeichert – werden auf weniger Bits heruntergerechnet. Ein Modell mit 8 Milliarden Parametern in 16-Bit (FP16) braucht etwa 16 GB. Dasselbe Modell in 4-Bit braucht nur noch rund 4–5 GB.

Der Haken: Weniger Bits bedeuten weniger Präzision. Die meisten Verfahren versuchen, diesen Verlust zu minimieren – vollständig vermeiden lässt er sich nicht. Bei sehr aggressiver Quantisierung (Q2, Q3) merkst du das an der Antwortqualität, teils auch an mehr Halluzinationen. Bei Q4 und Q5 kaum. Bei Q8 ist der Unterschied zu FP16 für die meisten Aufgaben nicht messbar.

Die Stufen entschlüsselt: Q2 bis Q8, und was _K_M bedeutet

Das Kürzel Q4_K_M liest sich wie ein Geheimcode. Es ist aber logisch aufgebaut:

• Q steht für Quantisierung.
• 4 ist die Bit-Tiefe (hier: 4 Bit pro Gewicht).
• _K bezeichnet die k-quants-Methode – ein verbessertes Verfahren aus llama.cpp, das wichtigere Schichten mit mehr Bits kodiert.
• _M steht für die Größenvariante innerhalb der k-quants: S (Small), M (Medium), L (Large). M ist der häufig empfohlene Mittelweg.

Ältere Formate wie Q4_0 oder Q5_1 nutzen keine k-quants. Sie sind einfacher, aber bei gleicher Bit-Zahl qualitativ schwächer als ihre _K-Äquivalente.

Neuere IQ-Quants (etwa IQ3_XS oder IQ4_XS) nutzen ein weiteres Verfahren namens „importance matrix": Sie priorisieren besonders einflussreiche Gewichte noch stärker. IQ4_XS ist dabei fast so gut wie Q4_K_M, aber nochmals etwas kleiner. Diese Varianten tauchen zunehmend auf und sind für aktuelle llama.cpp-Versionen empfehlenswert.

Q4 vs. Q8: Qualität gegen VRAM – die entscheidende Abwägung

Die Faustregel für den ungefähren VRAM-Bedarf bei einem Modell mit n Milliarden Parametern:

• Q4_K_M: n × 0,55 GB (Beispiel: 8B → ~4,4 GB)
• Q5_K_M: n × 0,65 GB (8B → ~5,2 GB)
• Q8_0: n × 1,0 GB (8B → ~8,0 GB)

Dazu kommen je nach Kontextfenster noch einige Hundert MB bis rund 2 GB für den KV-Cache – also den Zwischenspeicher, den die Inferenz während eines Gesprächs anlegt. Plane deshalb etwas Puffer ein.

Genau hier liegt der zentrale VRAM-Trick: Wer von Q8_0 auf Q4_K_M wechselt, halbiert den Speicherbedarf nahezu – bei einem Qualitätsverlust, der im Alltag kaum auffällt. Das ist der direkteste Weg, ein Modell überhaupt auf bezahlbarer Consumer-Hardware lauffähig zu machen.

Konkretes Beispiel: Llama 3.1 8B als Q4_K_M (~4,4 GB) passt komfortabel in eine 6-GB-VRAM-GPU wie die RTX 3060 oder RTX 4060. Dasselbe Modell als Q8_0 belegt rund 8,5 GB an reinen Gewichten. Auf einer RTX 3080 mit 10 GB bleiben damit nur etwa 1,5 GB für den KV-Cache – das reicht für kleinen Kontext, wird bei längeren Eingaben (ab ~4k Token) aber sehr eng. Wer 8B in Q8_0 mit normalem Kontext fahren will, ist mit 12 GB VRAM (etwa RTX 3080 12G oder RTX 4070) deutlich sicherer. Für kleine Quants bis in die 8-GB-Klasse reicht eine günstige Einsteigerkarte wie die RTX 4060 Ti 16GB ★; wer große Quants oder 32B+-Modelle mit Reserve fahren will, braucht eher eine RTX 4090 24GB ★.

★ = Affiliate-Link. Kaufst du darüber, erhalten wir eine kleine Provision — ohne Mehrkosten für dich. Unsere Empfehlungen sind davon unabhängig (mehr).

Passt ein Modell nicht vollständig in den VRAM, übernimmt llama.cpp das sogenannte Layer-Offloading: Ein Teil der Schichten liegt im RAM, der Rest im VRAM. Das kostet Geschwindigkeit – manchmal deutlich. Vollständig im VRAM laufende Modelle sind je nach Hardware typischerweise 3- bis 10-mal schneller als der RAM-only-Betrieb; nur eine sehr schnelle GPU gegenüber einer langsamen CPU erreicht noch höhere Faktoren.

Welche Quantisierungsstufe für welche Hardware

Detaillierte GPU-Empfehlungen mit aktuellen Preisen findest du im Hardware-Guide für lokale KI 2026. Hier die Kurzfassung nach VRAM-Klassen:

Zur Einordnung: Die Standard-Desktop-RTX-3050 hat 8 GB VRAM, nicht 4 GB – nur die spätere 6-GB-Variante (RTX 3050 6G) und einige Laptop-Versionen liegen darunter. Für die echte 4-GB-Klasse sind ältere Karten wie die GTX 1650 (non-Super), die RX 6500 XT oder mobile GPUs realistisch.

Apple Silicon ist ein Sonderfall: Unified Memory bedeutet, dass CPU und GPU denselben Speicher teilen. Ein M3 Pro in der 36-GB-Konfiguration (das Maximum dieser Reihe; die Basisversion hat 18 GB) kann ein 34B-Modell in Q5_K_M ausführen – rund 22 GB Gewichte plus KV-Cache. Die 18-GB-Basis reicht dafür nicht; sie ist eher für 7–13B-Modelle gedacht. Apple-Nutzer mit ausreichend Unified Memory profitieren hier dennoch überproportional gegenüber klassischen PC-Konfigurationen mit dedizierter GPU.

GGUF vs. GPTQ vs. EXL2: welches Quantisierungsformat für lokale KI?

GGUF ist nicht das einzige Quantisierungsformat – aber aktuell das praktischste für die meisten Anwender. Die Frage, welches Format sich für welchen Zweck eignet, beantwortet diese Tabelle:

Fazit: Wer Ollama oder LM Studio nutzt, fährt mit GGUF richtig. Nur wer eine reine NVIDIA-Server-Umgebung mit maximaler Geschwindigkeit braucht, sollte EXL2 prüfen. Für den direkten Vergleich der Frontends lies Ollama vs. LM Studio vs. Open WebUI.

Praxis: das richtige Quant in Ollama und LM Studio auswählen

In Ollama steuerst du das Quant über den pull-Befehl oder das Modelfile. Standardmäßig zieht Ollama eine vorberechnete Variante – meist Q4_K_M oder ähnlich. Willst du ein bestimmtes Quant, hängst du es an:

ollama pull hf.co/bartowski/Meta-Llama-3.1-8B-Instruct-GGUF:Q5_K_M

Über Hugging Face lädst du seit 2024 GGUF-Dateien direkt in Ollama. Mehr dazu im Ollama-Test und Setup-Guide sowie in der Anleitung zum lokalen Llama-Setup.

In LM Studio siehst du bei der Modellsuche alle verfügbaren Quants nebeneinander – mit Dateigröße und einer Kompatibilitätsampel auf Basis deines erkannten VRAM. Das macht die Auswahl intuitiv: Grün heißt, das Modell passt vollständig in den VRAM; Gelb heißt, Layer-Offloading ist nötig; Rot heißt, es ist zu groß.

Welche Modelle sich zum Testen lohnen, klärt der Vergleich Llama vs. Qwen vs. Mistral vs. DeepSeek: lokale Modelle im Vergleich – dort spielen auch Qwen, Mistral und DeepSeek eine Rolle. Willst du ein Modell für RAG-Setups nutzen, um eigene Dokumente zu durchsuchen, hilft RAG selbst bauen: Eigene Dokumente lokal und DSGVO-konform durchsuchen; den Begriff selbst erklärt das RAG-Glossar.

Faustregeln zum Mitnehmen

Nach der Theorie: Was nimmst du konkret mit?

• Q4_K_M ist der Sweet Spot. Für die allermeisten Anwendungsfälle reicht diese Stufe aus. Der Qualitätsverlust gegenüber dem Vollmodell ist im Alltag kaum spürbar.
• Größeres Modell schlägt höheres Quant. Ein 13B-Modell in Q4_K_M ist bei ähnlichem VRAM-Verbrauch fast immer besser als ein 7B-Modell in Q8_0. Die Parameterzahl hat mehr Einfluss auf die Qualität als die Quantisierungsstufe.
• Q8_0 nur, wenn der Platz da ist. Wer 12+ GB VRAM hat und ein 7B-Modell nutzt, kann Q8_0 nehmen – muss aber nicht.
• Q2 und Q3 als Notlösung. Nur, wenn du wirklich auf schwache Hardware angewiesen bist. Die Qualität leidet spürbar.
• IQ4_XS als Alternative zu Q4_K_M. Etwas kleiner, ähnliche Qualität – aber nur mit aktuellen llama.cpp-Versionen gut unterstützt.
• CPU-Inferenz möglichst vermeiden. Selbst eine schwache GPU mit 6 GB VRAM ist schneller als CPU-only. Details dazu im Hardware-Guide.
• GGUF bleibt Standard. Für Ollama, LM Studio und CPU-fähigen Betrieb ist GGUF die richtige Wahl – kein Grund, auf GPTQ oder EXL2 auszuweichen, außer du baust einen dedizierten CUDA-Server.

Wer versteht, was hinter Q4_K_M steckt, verliert beim nächsten Modell-Download keine zehn Minuten mehr mit der Entscheidung. Das ist der eigentliche Wert dieses Wissens: nicht akademische Vollständigkeit, sondern schnellere und bessere Entscheidungen im Alltag. Wie wir bei ki-rundschau.de arbeiten und prüfen, liest du in der Redaktion.

Häufige Fragen zu GGUF und Quantisierung