Welche GPU für GPT-4o lokal?

Kann ich GPT-4o lokal betreiben?

Nein. GPT-4o ist ein proprietäres Modell von OpenAI: Die Gewichte lassen sich nicht herunterladen, daher läuft GPT-4o auf keiner der 22 GPUs im Verzeichnis der KI-Rundschau. Nutzbar ist GPT-4o nur über eine Cloud-API. In der Preistabelle der KI-Rundschau ist GPT-4o bei einem Anbieter erfasst, ab 2,30 € pro Million Input-Tokens (OpenAI). Wer ein Modell auf eigener Hardware betreiben will, findet im Modell-Katalog Alternativen mit offenen Gewichten.