Question 1

Welche GPU brauche ich für Claude 3.5 Haiku lokal?

Accepted Answer

Claude 3.5 Haiku hat 20 Mrd. Parameter und braucht in einer praktikablen Quantisierung (Q4_K_M) ca. 0.0 GB VRAM. 0 GPUs aus dem Directory können das Modell fahren. Günstigster Einstieg: —.

Question 2

Wie viel VRAM braucht Claude 3.5 Haiku?

Accepted Answer

Claude 3.5 Haiku braucht in Q4_K_M-Quantisierung ca. 0.0 GB VRAM bei 8k Kontext. Mit GQA-Faktor und KV-Cache eingerechnet. Bei FP16 oder Q8_0 deutlich mehr.

Question 3

Welche Quantisierung für Claude 3.5 Haiku?

Accepted Answer

Q4_K_M ist der pragmatische Standard — gut genug für Produktion, halbiert den VRAM-Bedarf. Q8_0 erhält Qualität nahezu vollständig, kostet aber doppelt VRAM. FP16 lohnt sich kaum, außer für Finetuning.

Welche GPU für Claude 3.5 Haiku lokal?