RAG selbst bauen: Eigene Dokumente lokal und DSGVO-konform mit KI durchsuchen

Auf einen Blick

RAG (Retrieval-Augmented Generation) laesst ein lokales Sprachmodell deine eigenen Dokumente durchsuchen und beantworten – ohne dass ein einziges Byte deine IT verlaesst. Mit AnythingLLM und Ollama ist das in ein bis zwei Stunden eingerichtet, auch ohne Programmierkenntnisse. Ergebnis: eine DSGVO-konforme KI-Dokumentensuche ueber interne Handbuecher, Vertraege oder die eigene Wissensdatenbank.

Wer interne Dokumente mit KI durchsuchen will, steht vor einer einfachen Frage: Cloud oder lokal? Dieser Praxis-Leitfaden zeigt, wie du RAG lokal selbst baust – als Tutorial auf Deutsch, mit AnythingLLM und Ollama, dem passenden Embedding-Modell fuer deutschsprachige Texte und einer DSGVO-Checkliste fuer den KMU-Einsatz. RAG ist die Technik, mit der ein Sprachmodell nicht aus seinem Trainingswissen antwortet, sondern aus deinen konkreten Dokumenten. Wer noch ganz am Anfang steht, beginnt am besten mit dem Einsteiger-Guide fuer DSGVO-konforme lokale KI und kommt dann hierher zurueck.

Warum RAG lokal besonders Sinn ergibt

Wer ChatGPT oder einen Cloud-Dienst fragt, schickt seine Dokumente an fremde Server. Fuer interne Handbuecher, Kundendaten, technische Zeichnungen oder Vertraege ist das in den meisten Faellen keine Option – weder rechtlich noch sicherheitstechnisch.

Lokale KI loest dieses Problem an der Wurzel: Modell, Vektordatenbank und Dokumente liegen alle auf deiner Hardware. Kein Netzwerk-Ausgang, kein Anbieter, der Trainingsdaten sammelt, kein Drittland-Transfer, der dokumentiert werden muss. Das ist gelebte digitale Souveraenitaet.

Gleichzeitig ist die Qualitaet lokaler Modelle 2026 so weit gestiegen, dass RAG-Setups mit einem Llama-3.3-70B oder Qwen2.5-32B fuer viele Unternehmensanwendungen praezise genug arbeiten. Welches Modell zu deiner Hardware passt, klaert der grosse Modellvergleich fuer lokale KI. Kurz: RAG lokal ist heute eine ernstzunehmende Option fuer jeden KMU-Betrieb, der eine lokale Wissensdatenbank aufbauen will – ohne Cloud-Risiko und ohne monatliche Lizenzkosten.

Wie RAG funktioniert: Embeddings, Vektordatenbank und Retrieval in einfachen Worten

RAG besteht aus drei Schritten, die beim Einrichten einmal aufgesetzt werden und danach automatisch ablaufen:

1. Indexierung: Deine Dokumente (PDFs, Word-Dateien, Text usw.) werden in kleine Textabschnitte (Chunks) zerlegt. Jeder Chunk wird durch ein Embedding-Modell in einen Zahlenvektor umgewandelt, der den semantischen Inhalt repraesentiert.
2. Speichern: Diese Vektoren landen in einer Vektordatenbank. Dort lassen sie sich blitzschnell nach Bedeutung durchsuchen – nicht nach Stichwoertern, sondern nach semantischer Aehnlichkeit.
3. Retrieval und Antwort: Wenn du eine Frage stellst, wird auch deine Frage in einen Vektor umgewandelt. Die Datenbank findet die aehnlichsten Chunks. Diese werden zusammen mit deiner Frage als Kontext an das Sprachmodell uebergeben. Das Modell antwortet dann auf Basis dieser gefundenen Textpassagen statt aus seinem Trainingswissen.

Das ist der entscheidende Vorteil gegenueber einem normalen Chatbot: Das Modell halluziniert deutlich seltener, weil es konkrete Quelltexte geliefert bekommt. Ganz ausgeschlossen ist es nicht – das Modell kann die gefundenen Passagen falsch interpretieren oder Details hinzuerfinden. Mit Quellenangaben, niedriger Temperatur und einer expliziten Anweisung, bei fehlender Deckung nichts zu erfinden, laesst sich das aber wirksam eingrenzen (mehr dazu weiter unten).

AnythingLLM einrichten: Ollama-Anbindung Schritt fuer Schritt

AnythingLLM ist die derzeit einfachste Komplettloesung fuer lokales RAG: eine Desktop-App (Windows, macOS, Linux) oder eine Self-Hosted-Server-Version mit Oberflaeche, die Dokument-Upload, Vektordatenbank und Chat-Interface vereint. Die Integration mit Ollama ist offiziell unterstuetzt. Fuer den RAG-Einsatz ist Ollama als Backend erste Wahl, weil es API-kompatibel und skriptbar ist – den Vergleich der Laufzeitumgebungen liefert Ollama vs. LM Studio vs. Open WebUI.

Schritt 1: Ollama installieren

Auf ollama.com gibt es Installer fuer alle gaengigen Betriebssysteme. Nach der Installation laeuft Ollama als lokaler Dienst auf Port 11434. Dann ein Modell ziehen – fuer den Anfang reicht ein kleineres Modell:

ollama pull llama3.2:3b
ollama pull nomic-embed-text

nomic-embed-text ist das Embedding-Modell. Mehr dazu im Abschnitt zu Embedding-Modellen. Eine ausfuehrliche Installationsanleitung liefert der Artikel Llama lokal installieren: Schritt-fuer-Schritt-Anleitung.

Schritt 2: AnythingLLM installieren und mit Ollama verbinden

Desktop-App von anythingllm.com herunterladen und installieren. Beim ersten Start als LLM-Provider "Ollama" waehlen und http://localhost:11434 eintragen. Gleiches fuer den Embedding-Provider: "Ollama" und das Modell nomic-embed-text auswaehlen. Als Vektordatenbank ist LanceDB vorausgewaehlt – die laeuft lokal ohne weitere Konfiguration.

Schritt 3: Workspace anlegen und Dokumente hochladen

In AnythingLLM einen neuen "Workspace" anlegen (z.B. "Technische Dokumentation") und Dokumente per Drag & Drop hochladen. AnythingLLM verarbeitet PDFs, DOCX, XLSX, TXT und Webseiten-URLs. Nach dem Upload auf "Move to Workspace" und dann "Save and Embed" klicken. Die Indexierung laeuft danach automatisch im Hintergrund.

Danach einfach eine Frage in den Chat tippen. AnythingLLM zeigt zu jeder Antwort die Quelldokumente an, aus denen das Modell die Antwort zusammengestellt hat.

Eigene Dokumente mit KI befragen: PDFs, Handbuecher und Wissensdatenbank einbinden

Praktisch jedes gaengige Format funktioniert, um eigene Dokumente lokal mit KI zu befragen. Die wichtigsten Punkte beim Dokument-Import:

• PDFs mit durchsuchbarem Text funktionieren gut. Eingescannte PDFs ohne OCR liefern nur leere Seiten – hier vorher ein OCR-Tool (z.B. OCRmyPDF) einsetzen.
• Tabellen in XLSX oder DOCX werden von AnythingLLM flach als Text extrahiert. Komplexe Tabellenstrukturen gehen dabei verloren. Fuer Preislisten und Aehnliches lieber CSV-Export nutzen.
• Markdown und reiner Text: TXT funktioniert nativ. Reine .md-Dateien werden je nach AnythingLLM-Version nicht immer sauber per Drag & Drop verarbeitet (offener Feature-Request im Projekt) – im Zweifel als .txt umbenennen oder den Inhalt direkt einfuegen.
• Webseiten-URLs koennen direkt als Quelle angegeben werden. AnythingLLM scrapt den Inhalt und indexiert ihn wie ein Dokument.
• Ordner-Struktur: Mehrere Workspaces trennen Themenbereiche sauber. Ein Workspace "Recht & Vertraege", einer fuer "Technik", einer fuer "HR". So bleibt der Kontext uebersichtlich und die Retrieval-Qualitaet hoch.

Embedding-Modell fuer deutsche Dokumente waehlen

Das Embedding-Modell ist die heimliche Schluesselkomponente jedes RAG-Systems. Es entscheidet, wie gut semantisch aehnliche Textpassagen gefunden werden. Fuer deutschsprachige Dokumente gibt es wichtige Unterschiede. Die folgende Tabelle nennt jeweils die Parameterzahl und die ungefaehre Download-Groesse – beides wird haeufig verwechselt:

Praktische Empfehlung: Fuer gemischt deutsch-englische Dokumente (in KMU der Regelfall) ist mxbai-embed-large oder multilingual-e5-large eine sichere Wahl. Den Unterschied merkt man besonders bei Fachbegriffen, die im Deutschen anders formuliert sind als im Englischen.

Wichtig: Sobald du das Embedding-Modell wechselst, musst du alle Dokumente neu indexieren. Embedding-Modell und Vektordatenbank muessen immer zusammenpassen.

Welche Hardware RAG zusaetzlich braucht

RAG selbst ist ressourcenarm – die Vektordatenbank ist nur Speicher, und die Embedding-Berechnung laeuft schnell durch. Der Flaschenhals bleibt das Sprachmodell, das die finale Antwort generiert. Entscheidend ist hier vor allem der VRAM deiner GPU.

Grobe Richtwerte (Stand 06/2026):

• Einsteiger (4–8 GB VRAM oder RAM): 3B–7B-Modelle, fuer einfache Dokumentensuche ausreichend. Antwortqualitaet ist begrenzt.
• Mittlere Stufe (16–24 GB VRAM): 13B–32B-Modelle. Deutlich bessere Textzusammenfassung und Antwortqualitaet. Fuer KMU-Produktiveinsatz sinnvoll. In diese Klasse fallen die RTX 4060 Ti 16GB ★ als guenstiger Einstieg und die RTX 4090 24GB ★ fuer mehr Reserve.
• Gehobene Stufe (48 GB+ VRAM): 70B-Modelle. Auf Standard-Benchmarks vergleichbar mit dem urspruenglichen GPT-4 (2023), bei komplexem Reasoning aber noch unterhalb von GPT-4o – dafuer komplett lokal und ohne Cloud-Abhaengigkeit.

Fuer RAG zusaetzlich einzuplanen: rund 1–5 GB SSD-Speicher pro 10.000 indexierte Seiten, je nach Chunk-Groesse und Embedding-Dimensionen. Die CPU-Anforderungen fuer die Vektordatenbank sind minimal.

Eine detaillierte Hardware-Analyse liefert der Lokale KI Hardware-Guide 2026: GPU, VRAM, RAM und Mini-PC richtig waehlen. Wer kein eigenes Geraet anschaffen will, findet in Runpod (GPU-Cloud im Test) eine Alternative fuer rechenintensive Phasen – allerdings nur fuer Daten ohne Personenbezug. Wer es direkt ausprobieren will, mietet GPUs stundenweise bei RunPod ★; weil die Server ueberwiegend ausserhalb der EU stehen, gehoeren dort wirklich nur anonymisierte Dokumente ohne Personenbezug hin.

Qualitaet verbessern: Chunking, Quellenangaben, Halluzinationen vermeiden

Ein RAG-System, das einfach "irgendwas" zurueckgibt, ist wertlos. Drei Parameter haben den groessten Einfluss auf die Ergebnisqualitaet:

Chunking-Strategie

Chunking bedeutet: Wie gross sind die Textabschnitte, die indexiert werden? AnythingLLM bietet in den Workspace-Einstellungen zwei Parameter: Chunk-Groesse (in Tokens) und Overlap (Ueberlappung zwischen Chunks).

• Kleine Chunks (256–512 Tokens): Praeziseres Retrieval, aber weniger Kontext pro Treffer. Gut fuer strukturierte Dokumente wie FAQs oder Regelwerke.
• Grosse Chunks (1024–2048 Tokens): Mehr Kontext, aber das Modell bekommt mehr irrelevantes Material. Gut fuer Fliesstext wie Handbuecher oder Berichte.
• Overlap von 10–20 %: Verhindert, dass wichtige Informationen an Chunk-Grenzen verloren gehen.

Empfehlung fuer den Start: 512 Tokens Chunk-Groesse, 50–100 Tokens Overlap. Dann testen und anpassen.

Quellenangaben einfordern

AnythingLLM zeigt standardmaessig die Quell-Chunks zur Antwort an. Diese Funktion nie deaktivieren. Im System-Prompt kannst du das Modell zusaetzlich anweisen, immer die Quelle zu nennen: "Nenne immer das Dokument und den Abschnitt, aus dem du die Information entnommen hast. Wenn du die Antwort nicht in den bereitgestellten Dokumenten findest, sag das explizit."

Halluzinationen reduzieren

Halluzinationen entstehen bei RAG meist dann, wenn das Modell in den gefundenen Chunks keine passende Antwort findet, aber trotzdem antwortet. Gegenmassnahmen:

• Die Anzahl der abgerufenen Chunks erhoehen (top-k in den Einstellungen: von 4 auf 6–8).
• Das Modell im System-Prompt explizit anweisen, bei Unsicherheit mit "Ich habe dazu keine Information in den bereitgestellten Dokumenten gefunden" zu antworten.
• Temperatur des Modells auf 0.1–0.3 senken (weniger kreative Freiheit, mehr faktengebundene Ausgabe).

DSGVO-konforme KI-Dokumentensuche: Checkliste fuer den KMU-Einsatz

Lokales RAG ist datenschutzrechtlich grundsaetzlich deutlich einfacher als Cloud-Loesungen – aber nicht automatisch problemlos. Die wichtigsten Punkte fuer eine DSGVO-konforme KI-Dokumentensuche:

• Kein Datenausgang: Pruefen, ob AnythingLLM und Ollama wirklich keine Telemetrie senden. AnythingLLM hat eine anonyme Nutzungsstatistik – diese in den Einstellungen deaktivieren. Ollama sendet standardmaessig keine Daten.
• Personenbezogene Daten in Dokumenten: Wenn Kundendaten, Mitarbeiterakten oder Vertraege indexiert werden, gelten dieselben Grundsaetze wie fuer jede Datenverarbeitung. Rechtsgrundlage, Zweckbindung und Loeschkonzept dokumentieren.
• Zugriffsschutz: AnythingLLM im Self-Hosted-Betrieb mit Authentifizierung absichern. Die Desktop-App laeuft nur lokal – wer Zugang zum Rechner hat, hat Zugang zu allen Dokumenten.
• Verarbeitung auf EU-Hardware: Bei Self-Hosting auf eigenem Server gilt: Server in der EU, Rechenzentrum sauber dokumentieren. Stichwort Datenresidenz.
• Keine Drittland-Transfers: Bei reinem lokalen Betrieb entfaellt das Drittland-Problem vollstaendig. Das ist der Kernvorteil gegenueber jeder Cloud-Loesung.
• Verarbeitungsverzeichnis: Den RAG-Einsatz ins Verarbeitungsverzeichnis aufnehmen, besonders wenn Mitarbeiter- oder Kundendaten enthalten sind.

Mehr Hintergrund zum DSGVO-Kontext im Mittelstand liefert der Artikel DSGVO und KI im Mittelstand 2026.

Ausbaustufe: Eigene Anbindung per API und Automatisierung

AnythingLLM bietet eine REST-API, die alle Workspace-Operationen abdeckt: Dokumente hochladen, Chats ausloesen, Antworten abrufen. Das ermoeglicht die Integration in eigene Workflows – zum Beispiel orchestriert ueber n8n.

Typische Ausbaustufen fuer KMU:

• E-Mail-Entwuerfe: Eingehende E-Mails automatisch gegen die interne Wissensdatenbank pruefen und einen Antwortvorschlag generieren – ein konkretes Rezept dafuer zeigt E-Mail-Entwuerfe mit n8n und Claude.
• Ticket-System-Integration: Helpdesk-Tickets gegen Handbuecher und FAQs abgleichen, passende Antwortvorschlaege ins Ticket schreiben.
• Dokumenten-Monitoring: Neue Dokumente automatisch indexieren, sobald sie in einem bestimmten Ordner landen (z.B. via Watchdog-Skript oder n8n).
• Multi-User-Betrieb: AnythingLLM im Server-Modus (Docker) betreiben, mehreren Mitarbeitern Zugang geben, Workspaces nach Berechtigungen trennen.

Wer RAG mit echten Aktionen verknuepfen will (Datenbankabfragen, Tool-Aufrufe), sollte sich das Model Context Protocol (MCP) ansehen – der entstehende Standard, um KI-Modelle an externe Systeme anzubinden. Fuer tiefere Eingriffe bieten LlamaIndex und LangChain als Python-Bibliotheken volle Kontrolle ueber jeden RAG-Parameter – inklusive gehosteter Vektordatenbanken wie Pinecone als Alternative zu lokalen Loesungen, falls die Dokumente keine Personendaten enthalten. Direkt starten kannst du mit Pinecone ★ – aber ehrlich gesagt laeuft das als US-Cloud-Dienst und steht damit quer zur Lokal-These dieses Artikels: Sobald personenbezogene Daten im Spiel sind, bleibt die lokale LanceDB die saubere Wahl, Pinecone ist nur fuer anonymisierte Inhalte ein Thema.

Welche Quantisierungsstufe fuer das generative Modell im RAG-Einsatz die richtige ist, erklaert der Artikel GGUF und Quantisierung verstaendlich erklaert – mit der Abwaegung zwischen VRAM-Bedarf und Qualitaet.

Fazit: RAG lokal ist kein Hexenwerk

Wer Ollama und AnythingLLM in zwei Stunden aufgesetzt hat, verfuegt ueber eine funktionsfaehige, DSGVO-konforme Dokumentensuche ohne Cloud-Abhaengigkeit. Die Qualitaet ist 2026 gut genug fuer den echten Produktiveinsatz – vorausgesetzt, du waehlst das richtige Embedding-Modell fuer Deutsch und verbringst etwas Zeit mit dem Chunking-Setup.

Der naechste Schritt nach dem ersten Erfolg: mehr Dokumente, feineres Chunking, System-Prompt-Optimierung und schliesslich die API-Integration in bestehende Workflows. RAG ist keine fertige Loesung, die man einmal aufsetzt und vergisst – sondern ein System, das mit der Qualitaet der indexierten Inhalte waechst.

★ = Affiliate-Link. Kaufst du darüber, erhalten wir eine kleine Provision — ohne Mehrkosten für dich. Unsere Empfehlungen sind davon unabhängig (mehr).

Häufige Fragen

RAG lokal bauen tutorial deutsch – was brauche ich zum Einstieg?

Fuer den Einstieg reichen Ollama (als Modell-Runtime) und AnythingLLM (als RAG-Oberflaeche). Beide sind kostenlos, Open Source und laufen auf Windows, macOS und Linux. Eine GPU ist hilfreich, aber nicht zwingend – fuer erste Tests reicht ein moderner Laptop mit 16 GB RAM, allerdings mit deutlich langsamerer Antwortgeschwindigkeit.

Eigene Dokumente mit KI befragen lokal – welche Dateiformate werden unterstuetzt?

AnythingLLM verarbeitet PDFs (mit durchsuchbarem Text), DOCX, XLSX, TXT und Webseiten-URLs. Reine Markdown-Dateien werden je nach Version nicht immer sauber per Drag & Drop verarbeitet – im Zweifel als .txt umbenennen. Eingescannte PDFs ohne OCR muessen vorher mit einem OCR-Tool (z.B. OCRmyPDF) aufbereitet werden. Komplexe Tabellenstrukturen gehen beim Import verloren – fuer Tabellen lieber CSV-Export verwenden.

Welches Embedding-Modell fuer deutsche Dokumente in einem lokalen RAG-System?

Fuer rein deutschsprachige oder gemischt deutsch-englische Dokumente sind multilingual-e5-large oder mxbai-embed-large die empfohlenen Optionen (Stand 06/2026). Das standardmaessig in vielen Anleitungen verwendete nomic-embed-text ist englisch-optimiert und liefert bei deutschen Fachtexten merklich schlechtere Retrieval-Ergebnisse.

Ist ein lokales RAG-System automatisch DSGVO-konform?

Lokal bedeutet kein Datenausgang – das ist der wichtigste DSGVO-Vorteil. Automatisch konform ist es aber nicht: Telemetrie muss deaktiviert, der Zugang gesichert und personenbezogene Daten in den Dokumenten mit einer Rechtsgrundlage und einem Loeschkonzept versehen werden. Ausserdem muss der RAG-Einsatz ins Verarbeitungsverzeichnis aufgenommen werden.

Wie viel VRAM brauche ich fuer lokales RAG?

RAG selbst ist kaum ressourcenintensiv – der Flaschenhals ist das Sprachmodell. Fuer einfache Anwendungsfaelle reichen 8 GB VRAM (7B-Modelle). Fuer produktiven KMU-Einsatz mit besserer Antwortqualitaet sind 16–24 GB VRAM (13B–32B-Modelle) empfehlenswert. Die Vektordatenbank benoetigt zusaetzlich 1–5 GB SSD-Speicher pro 10.000 indexierte Seiten.

AnythingLLM einrichten deutsch – wie lange dauert die erste Installation?

Die Erstinstallation von Ollama und AnythingLLM dauert inklusive Modell-Download typischerweise 30 bis 60 Minuten, abhaengig von Internetgeschwindigkeit und Modellgroesse. Die erste Indexierung von Dokumenten kommt obendrauf – ein Stapel von 100 PDFs braucht je nach Hardware 10 bis 30 Minuten.