Glossar: Lokale KI & Self-Hosting

Lokale KI & Self-Hosting Qwen — Alibabas Modell-Familie — in 2026 oft die DACH-Empfehlung für Code und Multilingual. Beispiel Qwen 3 32B läuft auf einer 24-GB-GPU und ist auf Deutsch sehr stark. Verwandt: Llama · DeepSeek Mehr im Glossar Alle Begriffe auf einen Blick → Qwen ist eine Familie von großen Sprachmodellen (LLMs), die

Lokale KI & Self-Hosting Mistral — Französisches Open-Weights-Modell, sehr effizient — EU-Heimspiel. Beispiel Mistral Small ist sehr effizient für seine Größe und EU-konform hosted. Verwandt: Llama · Qwen Mehr im Glossar Alle Begriffe auf einen Blick → Mistral ist ein französisches Unternehmen, das große Sprachmodelle (Large Language Models, LLMs) entwickelt und diese als Open-Source-Software

Lokale KI & Self-Hosting Llama — Metas offene Modell-Familie — Grundlage für viele lokale Setups. Beispiel Llama 3.3 70B ist 2026 oft die Standard-Empfehlung für mittlere bis große lokale Setups. Verwandt: Mistral · Qwen · Open Source / Open Weights Mehr im Glossar Alle Begriffe auf einen Blick → Llama ist eine Familie von quelloffenen,

Lokale KI & Self-Hosting Parameter — Die Gewichte eines Modells — 7B = 7 Milliarden Parameter. Beispiel Kleine Modelle: 1–3B (Edge-Geräte). Mittel: 7–13B (Laptop). Groß: 32–70B (Workstation). Sehr groß: 200B+ (Server-Cluster). Verwandt: LLM (Large Language Model) · Quantisierung · VRAM Mehr im Glossar Alle Begriffe auf einen Blick → Ein Parameter ist ein

Lokale KI & Self-Hosting VRAM — Speicher der Grafikkarte — der Engpass beim lokalen Modell-Betrieb. Beispiel RTX 4090 hat 24 GB VRAM. Damit läuft ein 32B-Modell in Q4-Quantisierung ordentlich. Verwandt: GPU · Quantisierung Mehr im Glossar Alle Begriffe auf einen Blick → VRAM (Video Random Access Memory) ist ein spezieller Arbeitsspeicher, den Grafikkarten für

Lokale KI & Self-Hosting Quantisierung — Modell-Größe reduzieren durch weniger genaue Zahlen — schneller, weniger RAM. Beispiel Ein 70B-Modell braucht in voller Präzision 140 GB VRAM. In Q4-Quantisierung nur ~40 GB. Verwandt: VRAM · GGUF · GPU Mehr im Glossar Alle Begriffe auf einen Blick → Quantisierung ist ein Verfahren, um KI-Modelle zu verkleinern und