GGUF
Lokale KI & Self-Hosting
GGUF — Dateiformat für quantisierte Modelle — der Standard für Ollama, LM Studio und Co.
Beispiel
Llama-3.3-70B-Q4_K_M.gguf — das ist ein 70-Milliarden-Parameter-Modell, auf 4-Bit-Genauigkeit komprimiert.
Verwandt: Quantisierung · Ollama
Mehr im Glossar
Alle Begriffe auf einen Blick →
GGUF (GPT-Generated Unified Format) ist ein Dateiformat, das große