GGUF und Quantisierung verständlich erklärt: Q4, Q5, Q8 und der VRAM-Trick
Auf einen Blick
GGUF ist das heute dominierende Dateiformat für lokale Large Language Models. Die Quantisierung reduziert dabei die Dateigröße – und damit den VRAM-Bedarf – erheblich, kostet aber schrittweise Antwortqualität. Wer Q4_K_M statt Q8_0 wählt, spart rund die Hälfte des Speicherbedarfs bei kaum wahrnehmbarem Qualitätsverlust im Alltag. Für
