Welche GPU für GPT-4o mini lokal?

Kann ich GPT-4o mini lokal betreiben?

Nein. GPT-4o mini ist ein proprietäres Modell von OpenAI: Die Gewichte lassen sich nicht herunterladen, daher läuft GPT-4o mini auf keiner der 22 GPUs im Verzeichnis der KI-Rundschau. Nutzbar ist GPT-4o mini nur über eine Cloud-API. In der Preistabelle der KI-Rundschau ist GPT-4o mini bei einem Anbieter erfasst, ab 0,14 € pro Million Input-Tokens (OpenAI). Wer ein Modell auf eigener Hardware betreiben will, findet im Modell-Katalog Alternativen mit offenen Gewichten.