GPT-4o mini

Kleines Closed-Model — günstigste Cloud-Alternative für einfache Tasks.

Lizenz: proprietary. Proprietäres Modell — nicht lokal lauffähig, nur über die Hersteller-API. Das macht GPT-4o mini besonders interessant für spezifische Workloads über die Anbieter-API — lokales Hosten ist nicht vorgesehen.

GPT-4o mini hat 8 Mrd. Parameter und braucht in Q4_K_M-Quantisierung rund 6-7 GB VRAM. Damit läuft das Modell auf praktisch jeder modernen GPU ab RTX 3060 12GB aufwärts. Apple-Silicon-Geräte mit 16+ GB Unified Memory sind ebenfalls bestens geeignet.

Das Kontextfenster von 125k Tokens ist solide für die meisten produktiven Use-Cases, aber knapp für sehr lange Dokumente oder umfangreiches RAG ohne sauberes Chunking.

Deutsch-Qualität: gut. Solide deutsche Ausgabe für die meisten produktiven Use-Cases — gelegentlich englische Phrasen oder leichte Holprigkeiten, aber überzeugend.