Parameter

Lokale KI & Self-Hosting

Parameter — Die Gewichte eines Modells — 7B = 7 Milliarden Parameter.

Beispiel

Kleine Modelle: 1–3B (Edge-Geräte). Mittel: 7–13B (Laptop). Groß: 32–70B (Workstation). Sehr groß: 200B+ (Server-Cluster).

Verwandt: LLM (Large Language Model) · Quantisierung · VRAM

Ein Parameter ist ein einstellbarer Wert, der das Verhalten eines KI-Modells steuert und während des Trainings gelernt wird.

In einfachen Worten

Stellen Sie sich ein KI-Modell wie ein kompliziertes Kochrezept vor. Die Parameter sind die Zutatenmengen und Gewürzkombinationen, die das Rezept ausmachen. Ein einfaches Rezept für Rührei hat vielleicht fünf Parameter (Eier, Milch, Salz, Pfeffer, Butter). Ein komplexes Rezept für eine mehrgängige Menüfolge hat tausende Parameter. Je mehr Parameter ein Modell hat, desto feinere Nuancen kann es lernen – aber desto mehr Rechenleistung und Daten braucht es auch, um diese Parameter richtig einzustellen. Im Training passt das Modell diese Werte so an, dass die Vorhersagen immer besser werden.

Was bedeutet das technisch

In neuronalen Netzen sind Parameter die Gewichte und Bias-Werte, die die Verbindungen zwischen den Neuronen definieren. Jedes Gewicht ist eine Zahl, die bestimmt, wie stark ein Signal von einem Neuron zum nächsten weitergegeben wird. Der Bias ist ein Schwellenwert, der bestimmt, ab wann ein Neuron aktiviert wird. Zusammen bilden diese Werte die gesamte Wissensbasis des Modells.

Die Anzahl der Parameter ist ein grobes Maß für die Kapazität eines Modells. Ein kleines Modell wie BERT-Base hat etwa 110 Millionen Parameter. GPT-3 hat 175 Milliarden, GPT-4 schätzungsweise über eine Billion. Diese Zahl allein sagt aber wenig über die Qualität aus. Entscheidend ist, wie gut die Parameter auf die Aufgabe abgestimmt sind. Ein Modell mit zu vielen Parametern für eine einfache Aufgabe neigt zum Auswendiglernen (Überanpassung). Ein Modell mit zu wenigen Parametern kann komplexe Muster nicht erfassen (Unteranpassung).

Warum es für KMU relevant ist

Die Anzahl der Parameter bestimmt direkt die Kosten und Anforderungen eines KI-Modells. Ein Modell mit 7 Milliarden Parametern (wie Llama 2 7B) läuft auf einem handelsüblichen Server mit einer Grafikkarte. Ein Modell mit 70 Milliarden Parametern benötigt mehrere High-End-Grafikkarten oder Cloud-Ressourcen. Die Betriebskosten steigen proportional zur Parameterzahl.

Für KMU bedeutet das: Sie müssen nicht das größte Modell nehmen. Für viele Geschäftsanwendungen reicht ein kleineres, spezialisiertes Modell. Ein Chatbot für die Kundenbetreuung braucht keine 175 Milliarden Parameter. Ein Modell mit 7 Milliarden Parametern, das auf Ihre Branchendaten abgestimmt ist, liefert oft bessere Ergebnisse – und das zu einem Bruchteil der Kosten. Achten Sie bei der Auswahl eines KI-Dienstes nicht nur auf die Parameterzahl, sondern auch auf die tatsächliche Leistung für Ihren Anwendungsfall.

Verwandte Begriffe

Trainingsdaten, Feinabstimmung, Neuronales Netz, Überanpassung, Rechenleistung