Question 1

Welche GPU brauche ich für GPT-4o mini lokal?

Accepted Answer

GPT-4o mini hat 8 Mrd. Parameter und braucht in einer praktikablen Quantisierung (Q4_K_M) ca. 0.0 GB VRAM. 0 GPUs aus dem Directory können das Modell fahren. Günstigster Einstieg: —.

Question 2

Wie viel VRAM braucht GPT-4o mini?

Accepted Answer

GPT-4o mini braucht in Q4_K_M-Quantisierung ca. 0.0 GB VRAM bei 8k Kontext. Mit GQA-Faktor und KV-Cache eingerechnet. Bei FP16 oder Q8_0 deutlich mehr.

Question 3

Welche Quantisierung für GPT-4o mini?

Accepted Answer

Q4_K_M ist der pragmatische Standard — gut genug für Produktion, halbiert den VRAM-Bedarf. Q8_0 erhält Qualität nahezu vollständig, kostet aber doppelt VRAM. FP16 lohnt sich kaum, außer für Finetuning.

Welche GPU für GPT-4o mini lokal?