Anmelden Abonnieren

Glossar

VRAM

Lokale KI & Self-Hosting VRAM — Speicher der Grafikkarte — der Engpass beim lokalen Modell-Betrieb. Beispiel RTX 4090 hat 24 GB VRAM. Damit läuft ein 32B-Modell in Q4-Quantisierung ordentlich. Verwandt: GPU · Quantisierung Mehr im Glossar Alle Begriffe auf einen Blick → VRAM (Video Random Access Memory) ist ein spezieller Arbeitsspeicher, den Grafikkarten für

Quantisierung

Lokale KI & Self-Hosting Quantisierung — Modell-Größe reduzieren durch weniger genaue Zahlen — schneller, weniger RAM. Beispiel Ein 70B-Modell braucht in voller Präzision 140 GB VRAM. In Q4-Quantisierung nur ~40 GB. Verwandt: VRAM · GGUF · GPU Mehr im Glossar Alle Begriffe auf einen Blick → Quantisierung ist ein Verfahren, um KI-Modelle zu verkleinern und

GGUF

Lokale KI & Self-Hosting GGUF — Dateiformat für quantisierte Modelle — der Standard für Ollama, LM Studio und Co. Beispiel Llama-3.3-70B-Q4_K_M.gguf — das ist ein 70-Milliarden-Parameter-Modell, auf 4-Bit-Genauigkeit komprimiert. Verwandt: Quantisierung · Ollama Mehr im Glossar Alle Begriffe auf einen Blick → GGUF (GPT-Generated Unified Format) ist ein Dateiformat, das große

Self-Hosting

Lokale KI & Self-Hosting Self-Hosting — Software auf eigener Infrastruktur betreiben statt bei einem Anbieter. Beispiel n8n self-hosted statt n8n Cloud — du behältst alle Daten und zahlst nur Server. Verwandt: Lokale KI · Souveränität (digitale) Mehr im Glossar Alle Begriffe auf einen Blick → Self-Hosting bedeutet, dass Sie Software oder Dienste auf Ihrer

Lokale KI

Lokale KI & Self-Hosting Lokale KI — Modelle, die auf eigener Hardware laufen — keine Cloud, keine Datenabflüsse. Für KMU mit DSGVO-Anforderungen die ehrlichste Antwort. Was lokale KI 2026 wirklich kann Lokale KI heißt: das Sprachmodell läuft auf deiner Hardware. Daten gehen nicht in eine Cloud. Drei Jahre nach dem ersten Llama-Release

Chain-of-Thought

Agenten & Fortgeschrittenes Chain-of-Thought — Technik, bei der die KI laut denkt — bessere Antworten bei Logik-Aufgaben. Beispiel Statt Antworte direkt fragst du Denke Schritt für Schritt, dann antworte. Bei Mathe und Logik macht das enormen Unterschied. Verwandt: Prompt Engineering · LLM (Large Language Model) Mehr im Glossar Alle Begriffe auf einen Blick

System Prompt

Agenten & Fortgeschrittenes System Prompt — Die unsichtbare Anweisung, die das Verhalten eines KI-Assistenten festlegt. Beispiel Ein Customer-Service-Bot hat einen System Prompt wie: Du bist freundlich, antwortest in 2 Sätzen, nennst keine Konkurrenzprodukte. Verwandt: Prompt · Prompt Engineering Mehr im Glossar Alle Begriffe auf einen Blick → Ein System Prompt ist eine vorformulierte

/* CLUSTER-INJECTION-START */ /* CLUSTER-INJECTION-END */