Florian

Lokale KI & Self-Hosting Parameter — Die Gewichte eines Modells — 7B = 7 Milliarden Parameter. Beispiel Kleine Modelle: 1–3B (Edge-Geräte). Mittel: 7–13B (Laptop). Groß: 32–70B (Workstation). Sehr groß: 200B+ (Server-Cluster). Verwandt: LLM (Large Language Model) · Quantisierung · VRAM Mehr im Glossar Alle Begriffe auf einen Blick → Ein Parameter ist ein

Lokale KI & Self-Hosting VRAM — Speicher der Grafikkarte — der Engpass beim lokalen Modell-Betrieb. Beispiel RTX 4090 hat 24 GB VRAM. Damit läuft ein 32B-Modell in Q4-Quantisierung ordentlich. Verwandt: GPU · Quantisierung Mehr im Glossar Alle Begriffe auf einen Blick → VRAM (Video Random Access Memory) ist ein spezieller Arbeitsspeicher, den Grafikkarten für

Lokale KI & Self-Hosting Quantisierung — Modell-Größe reduzieren durch weniger genaue Zahlen — schneller, weniger RAM. Beispiel Ein 70B-Modell braucht in voller Präzision 140 GB VRAM. In Q4-Quantisierung nur ~40 GB. Verwandt: VRAM · GGUF · GPU Mehr im Glossar Alle Begriffe auf einen Blick → Quantisierung ist ein Verfahren, um KI-Modelle zu verkleinern und

Lokale KI & Self-Hosting GGUF — Dateiformat für quantisierte Modelle — der Standard für Ollama, LM Studio und Co. Beispiel Llama-3.3-70B-Q4_K_M.gguf — das ist ein 70-Milliarden-Parameter-Modell, auf 4-Bit-Genauigkeit komprimiert. Verwandt: Quantisierung · Ollama Mehr im Glossar Alle Begriffe auf einen Blick → GGUF (GPT-Generated Unified Format) ist ein Dateiformat, das große

Lokale KI & Self-Hosting Self-Hosting — Software auf eigener Infrastruktur betreiben statt bei einem Anbieter. Beispiel n8n self-hosted statt n8n Cloud — du behältst alle Daten und zahlst nur Server. Verwandt: Lokale KI · Souveränität (digitale) Mehr im Glossar Alle Begriffe auf einen Blick → Self-Hosting bedeutet, dass Sie Software oder Dienste auf Ihrer

Lokale KI & Self-Hosting Lokale KI — Modelle, die auf eigener Hardware laufen — keine Cloud, keine Datenabflüsse. Für KMU mit DSGVO-Anforderungen die ehrlichste Antwort. Was lokale KI 2026 wirklich kann Lokale KI heißt: das Sprachmodell läuft auf deiner Hardware. Daten gehen nicht in eine Cloud. Drei Jahre nach dem ersten Llama-Release