Welche GPU für Claude 3.5 Haiku lokal?

Kann ich Claude 3.5 Haiku lokal betreiben?

Nein. Claude 3.5 Haiku ist ein proprietäres Modell von Anthropic: Die Gewichte lassen sich nicht herunterladen, daher läuft Claude 3.5 Haiku auf keiner der 22 GPUs im Verzeichnis der KI-Rundschau. Nutzbar ist Claude 3.5 Haiku nur über eine Cloud-API. In der Preistabelle der KI-Rundschau ist Claude 3.5 Haiku bei einem Anbieter erfasst, ab 0,92 € pro Million Input-Tokens (Anthropic). Wer ein Modell auf eigener Hardware betreiben will, findet im Modell-Katalog Alternativen mit offenen Gewichten.