Question 1

Welche GPU brauche ich für Gemma 2 9B lokal?

Accepted Answer

Gemma 2 9B hat 9 Mrd. Parameter und braucht in einer praktikablen Quantisierung (Q4_K_M) ca. 0.0 GB VRAM. 0 GPUs aus dem Directory können das Modell fahren. Günstigster Einstieg: —.

Question 2

Wie viel VRAM braucht Gemma 2 9B?

Accepted Answer

Gemma 2 9B braucht in Q4_K_M-Quantisierung ca. 0.0 GB VRAM bei 8k Kontext. Mit GQA-Faktor und KV-Cache eingerechnet. Bei FP16 oder Q8_0 deutlich mehr.

Question 3

Welche Quantisierung für Gemma 2 9B?

Accepted Answer

Q4_K_M ist der pragmatische Standard — gut genug für Produktion, halbiert den VRAM-Bedarf. Q8_0 erhält Qualität nahezu vollständig, kostet aber doppelt VRAM. FP16 lohnt sich kaum, außer für Finetuning.

Welche GPU für Gemma 2 9B lokal?