Welche GPU für Claude 3.5 Sonnet lokal?

Kann ich Claude 3.5 Sonnet lokal betreiben?

Nein. Claude 3.5 Sonnet ist ein proprietäres Modell von Anthropic: Die Gewichte lassen sich nicht herunterladen, daher läuft Claude 3.5 Sonnet auf keiner der 22 GPUs im Verzeichnis der KI-Rundschau. Nutzbar ist Claude 3.5 Sonnet nur über eine Cloud-API. In der Preistabelle der KI-Rundschau ist Claude 3.5 Sonnet bei einem Anbieter erfasst, ab 2,76 € pro Million Input-Tokens (Anthropic). Wer ein Modell auf eigener Hardware betreiben will, findet im Modell-Katalog Alternativen mit offenen Gewichten.