Lokale KI einrichten: Der komplette Einsteiger-Guide für DSGVO-konforme KI auf dem eigenen Rechner

Auf einen Blick

Lokale KI einrichten heißt: Ein Sprachmodell läuft vollständig auf deinem eigenen Rechner – kein Byte deiner Daten verlässt das Gerät. Damit betreibst du ein LLM lokal ohne Cloud, ohne API-Gebühren und ohne Datenweitergabe an Dritte. Der schnellste Weg dorthin ist Ollama: Installation, erstes Modell und Chat sind auf Windows, Mac und Linux in unter 30 Minuten erledigt – ohne Programmierkenntnisse.

Was lokale KI ist – und warum sie sich für KMU lohnt

Wenn du ChatGPT nutzt, schickst du deine Eingaben an einen Server in den USA. OpenAI, Microsoft oder Google verarbeiten den Text und speichern ihn möglicherweise. Für eine Frage zum Wetter ist das egal – für Verträge, Kundendaten oder interne Strategiedokumente ist es ein ernsthaftes Problem. Eine lokale KI als ChatGPT-Alternative dreht dieses Verhältnis um: Du behältst die volle Kontrolle.

Große Sprachmodelle (LLMs) wie Llama, Qwen oder Mistral sind als Open-Weights-Modelle frei verfügbar – Mistral 7B bereits seit September 2023 (Apache 2.0), die Llama- und Qwen-Familien in ihren aktuellen Versionen seit 2024/2025. Was früher Serverhallen brauchte, passt heute auf einen Bürolaptop – sofern man weiß, welches Modell man in welcher Variante lädt. Die wichtigsten Vorteile für KMU:

• Datenschutz by Design: Keine Eingabe verlässt das Gerät. Damit entfällt die Frage, ob die Nutzungsbedingungen eines Anbieters wirklich halten, was sie versprechen – ein konkreter Schritt Richtung digitaler Souveränität.
• Keine laufenden API-Kosten: Nach der einmaligen Hardware-Investition entstehen keine API-Gebühren und keine Abos. Bleibt nur der Stromverbrauch. Lokale KI kann damit eine kostenlose ChatGPT-Alternative sein.
• Verfügbarkeit und Kontrolle: Das Modell läuft auch ohne Internetverbindung. Du entscheidest selbst, welche Version du einsetzt und wann du aktualisierst.
• Anpassbarkeit: Lokale Modelle lassen sich mit eigenen Dokumenten ergänzen – dazu mehr unter RAG für eigene Dokumente.

Der Haken: In den absoluten Spitzendisziplinen sind lokale Modelle noch nicht auf dem Niveau der besten Cloud-Dienste. Für viele KMU-Anwendungsfälle – Textentwürfe, Zusammenfassungen, einfache Code-Hilfe, interne FAQs – reichen sie aber vollständig aus.

DSGVO und EU AI Act: warum lokal die sicherere Antwort ist

Die DSGVO-Lage für KI im Mittelstand bleibt 2026 komplex. Der Europäische Datenschutzausschuss (EDPB) hat mit seiner Opinion 28/2024 (verabschiedet am 17.12.2024) klargestellt: Wer personenbezogene Daten in Cloud-KI-Dienste eingibt, muss eine Rechtsgrundlage, eine Auftragsverarbeitungsvereinbarung (AVV) und gegebenenfalls ein Transfer Impact Assessment vorweisen – auch dann, wenn der Anbieter behauptet, die Daten nicht zu speichern.

Lokale KI löst diese Frage strukturell: Was das Gerät nie verlässt, unterliegt keinem Datentransfer. Du bist Verantwortlicher und Verarbeiter in einem – kein AVV nötig, kein Drittland-Transfer, keine Abhängigkeit von fremden Datenschutzpraktiken. Für Berufsgruppen mit besonderer Schweigepflicht (Rechtsanwälte, Steuerberater, Ärzte) ist das kein Nice-to-have, sondern oft die einzig vertretbare Option.

Der EU AI Act (Verordnung 2024/1689, seit August 2024 in Kraft) wird gestaffelt anwendbar: Die Regeln für allgemeine KI-Modelle (GPAI) gelten seit August 2025, die Anforderungen an Hochrisiko-KI-Systeme nach Annex III greifen ab dem 2. August 2026. Zum Zeitpunkt dieses Artikels (Juni 2026) ist dieser Stichtag also noch nicht erreicht. Wichtiger für die Praxis: Lokale Modelle für interne Assistenz-Aufgaben fallen in der Regel unter keine der Hochrisiko-Kategorien – ein weiterer Vorteil kleiner, kontrollierter Deployments gegenüber tief integrierten Cloud-Lösungen.

Die drei Hauptwerkzeuge im Überblick

Der Markt für lokale KI-Tools hat sich 2025/2026 konsolidiert. Drei Werkzeuge dominieren den Einsteiger-Bereich:

Einen ausführlichen Vergleich aller drei Werkzeuge – inklusive Performance-Messung und Praxistipps – findest du unter Ollama vs. LM Studio vs. Open WebUI: Welches Tool für lokale KI 2026?

In diesem Guide nutzen wir Ollama als Basis, weil es auf allen drei Betriebssystemen gleich funktioniert und die größte Flexibilität bietet. LM Studio ist eine ebenso valide Alternative, wenn du eine grafische Oberfläche ohne zusätzliche Schritte bevorzugst.

Mindest-Hardware: was dein Rechner können muss

Kurze Antwort: Für ein 7-Milliarden-Parameter-Modell (7B) in quantisierter Form reichen 8 GB RAM und eine einigermaßen aktuelle CPU. Eine dedizierte GPU mit ausreichend VRAM beschleunigt die Inferenz erheblich, ist zum Einstieg aber kein Muss. Wer von vornherein mit GPU starten will, fährt für 7B–14B-Modelle mit einer RTX 4060 Ti mit 16 GB VRAM ★ als günstigem Einstieg gut – mehr VRAM brauchst du erst für deutlich größere Modelle.

Die genauen Zusammenhänge zwischen VRAM, RAM, Modellgröße und Quantisierung erklärt der Lokale KI Hardware-Guide 2026 ausführlich. Als grobe Orientierung für den Start:

Wer keinen Rechner dafür opfern will, fährt mit einem kleinen, stromsparenden Mini-PC ★ als dauerhaft laufendem Always-on-Gerät gut – für CPU-Inferenz mit 3B–7B-Modellen reicht das je nach RAM-Ausstattung aus.

Lokale KI installieren – Schritt für Schritt

Windows

1. Öffne ollama.com/download im Browser und lade den Windows-Installer herunter (Größe auf der Seite prüfen, derzeit gut 100 MB).
2. Führe die .exe aus – keine besonderen Rechte nötig, kein Neustart erforderlich.
3. Ollama startet automatisch als Hintergrunddienst. Ein kleines Symbol erscheint in der Taskleiste.
4. Öffne PowerShell oder Windows Terminal und tippe: ollama run llama3.2
5. Das Modell wird heruntergeladen (ca. 2 GB für die 3B-Version) und startet danach direkt im Chat-Modus.

macOS

1. Lade die macOS-App von ollama.com oder installiere via Homebrew: brew install ollama
2. Starte Ollama – bei der App-Variante per Doppelklick, bei Homebrew mit ollama serve im Terminal.
3. In einem neuen Terminal-Fenster: ollama run llama3.2
4. Apple-Silicon-Macs nutzen die GPU der Chips automatisch – kein zusätzlicher Treiber nötig.

Linux

1. Installiere Ollama mit einem einzigen Befehl im Terminal: curl -fsSL https://ollama.com/install.sh | sh
2. Der Installer richtet Ollama als systemd-Service ein. Prüfe den Status mit systemctl status ollama.
3. NVIDIA-GPUs werden automatisch erkannt, sofern die CUDA-Treiber installiert sind. AMD-GPUs werden via ROCm unterstützt – allerdings nur für bestimmte Karten (v. a. die RX-6000/7000-Serie, RDNA2/RDNA3) und weniger stabil als CUDA. Prüfe vorab, ob deine konkrete Karte auf der unterstützten Liste steht.
4. Starte deinen ersten Chat: ollama run llama3.2

Eine ausführliche Anleitung speziell für Llama-Modelle – inklusive Troubleshooting für häufige Fehler – findest du unter Llama lokal installieren: Schritt für Schritt. Einen umfassenden Praxistest von Ollama liest du im Ollama-Test 2026.

Das erste Modell laden und im Chat testen

Nach der Installation kennst du bereits den Befehl ollama run. Damit lädst du ein Modell einmalig herunter und startest sofort den Chat. Empfehlenswerte Einstiegsmodelle (Stand 06/2026):

• llama3.2:3b – Sehr schnell, gut für einfache Fragen und Textentwürfe, läuft auf fast jeder Hardware.
• llama3.1:8b – Solides Allround-Modell für den täglichen Gebrauch, braucht ca. 5 GB VRAM oder 8 GB RAM.
• qwen2.5:7b – Stark in Deutsch und für strukturierte Ausgaben (JSON, Tabellen), bei vergleichbarer Größe.
• mistral:7b – Guter Kompromiss aus Geschwindigkeit und Qualität, besonders für Englisch.

Im Chat-Modus stellst du direkt Fragen. Beende die Sitzung mit /bye oder Strg+D. Welches Modell für welchen Zweck am besten taugt, vergleicht Llama vs. Qwen vs. Mistral vs. DeepSeek: Welches lokale KI-Modell für welchen Zweck? – inklusive DeepSeek für Reasoning-lastige Aufgaben.

Alle vorhandenen Modelle listet ollama list. Gelöschte Modelle entfernst du mit ollama rm.

GGUF und Quantisierung kurz erklärt: welche Datei du brauchst

Wenn du Modelle direkt von Hugging Face oder anderen Quellen herunterlädst, begegnen dir Dateinamen wie mistral-7b-instruct-v0.3.Q4_K_M.gguf. Hinter diesen kryptischen Namen steckt ein einfaches Prinzip:

GGUF ist das Dateiformat, das lokale KI-Tools wie Ollama und LM Studio verwenden. Es ist darauf ausgelegt, Modelle effizient auf CPU und GPU zu laden.

Quantisierung beschreibt, wie stark ein Modell komprimiert wurde. Ein vollständiges Modell speichert jeden Wert mit 16 oder 32 Bit – das macht die Dateien riesig. Quantisierung reduziert das auf 4 oder 8 Bit und spart so 50–75 % Speicher, bei nur kleinem Qualitätsverlust:

Für den Einstieg nimm immer Q4_K_M – das ist der De-facto-Standard und in Ollamas Standardmodellen bereits vorausgewählt. Die vollständige Erklärung aller Varianten findest du in GGUF und Quantisierung verständlich erklärt: Q4, Q5, Q8 und der VRAM-Trick.

Typische Anfängerfehler – und wie du sie vermeidest

• Zu großes Modell für die Hardware wählen: Ein 13B-Modell auf einem Rechner mit 8 GB RAM lädt zwar, ist aber so langsam, dass es unbrauchbar wirkt. Fang mit 3B oder 7B an.
• Qualität mit Modellgröße gleichsetzen: Ein gut quantisiertes 7B-Modell kann für viele Aufgaben besser geeignet sein als ein schlecht konfiguriertes 13B-Modell. Teste mehrere Optionen.
• Veraltete Leistungserwartung: Der alte Merksatz „lokale 7B-Modelle entsprechen GPT-3.5“ stimmt nicht mehr. Aktuelle Modelle wie Llama 3.1/3.2 8B und Qwen 2.5 7B übertreffen GPT-3.5 auf den meisten Standard-Benchmarks deutlich. Hinter der GPT-4-Klasse bleiben sie nur bei sehr komplexen, mehrstufigen Reasoning-Aufgaben zurück – für typische Büroarbeit reichen sie mehr als aus.
• Ollama im Hintergrund vergessen: Ollama hält das Modell nach dem ersten Aufruf im Speicher. Das kostet RAM und VRAM. Gib den Speicher mit ollama stopwieder frei.
• Kein Self-Hosting-Konzept für Teams: Auf dem eigenen Laptop ist lokale KI einfach. Sollen mehrere Mitarbeitende darauf zugreifen, braucht es einen kleinen Server und eine Oberfläche wie Open WebUI.
• Alle Modelle gleichzeitig herunterladen: Modelle belegen mehrere Gigabyte. Lade erst eines, teste es gründlich und hole weitere bei Bedarf nach.

Nächste Schritte: GUI, eigene Dokumente, API-Anbindung

Wer über die Kommandozeile hinauswill, hat mehrere Optionen:

Grafische Oberfläche: Installiere Open WebUI als Browser-Frontend für Ollama. Es bietet eine ChatGPT-ähnliche Oberfläche, Gesprächsverlauf, Modellwechsel per Klick und Mehrbenutzerverwaltung. Der Einstieg per Docker ist in wenigen Minuten erledigt.

Eigene Dokumente einbinden: Mit RAG (Retrieval-Augmented Generation) verknüpfst du eigene PDFs, Word-Dokumente oder interne Wikis mit dem Sprachmodell – das Modell beantwortet Fragen dann direkt aus deinen Unterlagen, ohne sie je in die Cloud zu schicken. Eine vollständige Anleitung dazu bietet RAG selbst bauen: Eigene Dokumente lokal und DSGVO-konform mit KI durchsuchen.

API-Anbindung für eigene Tools: Ollama stellt eine REST-API bereit, die das OpenAI-Format nachbildet. Das heißt: Jede Anwendung, die die OpenAI-API unterstützt, lässt sich mit einem Einzeiler auf dein lokales Modell umstellen. So bindest du lokale KI in n8n, Make oder eigene Python-Skripte ein – und über das Model Context Protocol (MCP) auch in agentische Werkzeuge.

Hardware optimieren: Sind die Modelle zu langsam oder brauchst du größere Modelle, hilft der Lokale KI Hardware-Guide 2026 bei der Auswahl von GPU, VRAM und RAM-Konfiguration – und bei der Frage, ab wann sich die lokale Lösung gegenüber einem Abo wie ChatGPT Plus rechnet.

Erst testen, ohne GPU zu kaufen: Willst du ein größeres Modell ausprobieren, bevor du in Hardware investierst, kannst du eine GPU bei einem Anbieter wie RunPod ★ stundenweise mieten. Beachte dabei aber, dass deine Daten dann doch das Gerät verlassen und auf fremden Servern verarbeitet werden – wähle wenn möglich eine EU-Region und gib keine sensiblen oder personenbezogenen Daten ein. Der ganze DSGVO-Vorteil lokaler KI greift nur, solange die Verarbeitung wirklich auf deiner eigenen Hardware bleibt.

★ = Affiliate-Link. Kaufst du darüber, erhalten wir eine kleine Provision — ohne Mehrkosten für dich. Unsere Empfehlungen sind davon unabhängig (mehr).

Florian Neuhuber ist Systems-Engineer und betreibt seit 2023 lokale KI-Infrastruktur für KMU in Österreich und Deutschland. Wie wir bei ki-rundschau.de arbeiten und Inhalte prüfen, liest du in der Redaktion. Dieser Artikel gibt den Stand von Juni 2026 wieder und wird bei relevanten Änderungen aktualisiert.

Häufige Fragen

Wie kann ich lokale KI einrichten?

Am schnellsten mit Ollama: Lade den Installer von ollama.com für Windows, Mac oder Linux herunter, führe ihn aus und tippe im Terminal 'ollama run llama3.2'. Das Modell wird einmalig heruntergeladen und startet danach direkt im Chat-Modus. Der gesamte Vorgang dauert unter 30 Minuten und braucht keine Programmierkenntnisse.

Kann ich ein LLM lokal ohne Cloud betreiben?

Ja. Tools wie Ollama, LM Studio und Open WebUI laden das Sprachmodell vollständig auf deinen Rechner. Die Verarbeitung läuft komplett lokal – keine Internetverbindung nötig, keine Daten verlassen das Gerät. Genau das macht lokale KI zur DSGVO-sicheren Variante gegenüber Cloud-Diensten.

Ist lokale KI eine gute ChatGPT-Alternative und ist sie kostenlos?

Die Software (Ollama, LM Studio, Open WebUI) und die Modelle selbst sind kostenlos und Open Source. Du zahlst nur einmalig für Hardware und den laufenden Stromverbrauch – keine Abos, keine API-Kosten. Als ChatGPT-Alternative deckt lokale KI typische Büroaufgaben gut ab; nur bei sehr komplexen, mehrstufigen Aufgaben bleiben Spitzen-Cloud-Modelle voraus.

Welches Modell eignet sich für den Einstieg in lokale KI?

Für schwächere Hardware Llama 3.2 (3B); für Rechner mit 8 GB RAM oder mehr Llama 3.1 (8B) oder Qwen 2.5 (7B). Diese Modelle sind kostenlos, gut dokumentiert, stark in Deutsch und decken die meisten typischen Büroaufgaben ab. Nimm immer die Q4_K_M-Quantisierung.

Brauche ich eine Grafikkarte für lokale KI?

Nein, aber sie hilft erheblich. Ohne GPU (nur CPU) läuft ein 7B-Modell mit etwa 2–5 Token pro Sekunde – langsam, aber nutzbar. Mit einer Grafikkarte mit 8 GB VRAM steigt die Geschwindigkeit auf 15–40 Token/Sekunde. Apple Silicon (M2/M3/M4) ist ein Sonderfall: Unified Memory macht diese Chips auch ohne separate GPU sehr leistungsfähig.

Was bedeutet Q4, Q5 oder Q8 bei lokalen KI-Modellen?

Diese Zahlen beschreiben die Quantisierungsstufe – also wie stark das Modell komprimiert wurde. Q4 bedeutet 4-Bit-Quantisierung: kleinere Datei, etwas weniger Qualität, weniger VRAM-Bedarf. Q8 ist fast verlustfrei, braucht aber rund doppelt so viel Speicher wie Q4. Für den Einstieg ist Q4_K_M der empfohlene Standard.