Lokale KI mit eigenen Daten: RAG-Leitfaden für KMU 2026

RAG (Retrieval-Augmented Generation) ist der eigentliche Grund, warum KMU lokale KI einführen. Statt nur „chatten“ verbinden Sie ein LLM mit Ihren Verträgen, PDFs, Tickets oder Wikis — und bekommen Antworten, die auf Ihren Daten basieren. Quellenbezogen, lokal, ohne dass je ein Byte in eine Cloud geht.

Was ist RAG — in einfachen Worten

Stellen Sie sich vor, Sie geben einer kompetenten Mitarbeiterin einen Stapel Akten und sagen: „Wenn jemand fragt, schau hier rein und antworte auf Basis dieser Akten." Genau das ist RAG.

Technisch besteht RAG aus drei Schritten:

1. Indexierung: Ihre Dokumente werden in kleine Stücke zerlegt und als Embeddings in einer Vektor-Datenbank gespeichert.
2. Retrieval: Bei jeder Frage werden die 3-5 thematisch passendsten Stücke aus der Datenbank geholt.
3. Generation: Das LLM bekommt Frage + die passenden Stücke und formuliert eine Antwort — quellenbezogen.

Wichtig: das Modell wird nicht trainiert. Ihre Daten bleiben in der Datenbank, das Modell sieht sie nur als Kontext bei jeder Anfrage. Sie können Dokumente jederzeit hinzufügen, ändern oder löschen — anders als bei Fine-Tuning.

Warum RAG lokal so viel besser ist als in der Cloud

Cloud-RAG-Anbieter wie ChatGPT Enterprise, Claude Projects oder Custom-GPTs versprechen das Gleiche — mit drei harten Einschränkungen:

• Daten verlassen das Haus: Verträge, Personalakten, F&E-Dokumente landen auf US-Servern. Schrems II grüßt.
• Größen-Limit: typischerweise 20-100 MB pro „Projekt". Für ein KMU-Archiv mit 50.000 Dokumenten zu wenig.
• Update-Trägheit: Ein neuer Vertrag muss neu hochgeladen werden, Versionierung ist mau.

Lokales RAG löst alle drei Probleme. Bonus: keine Token-Kosten pro Abfrage, sobald die Hardware steht — das macht hochvolumige Use-Cases (Support-Suche, Tickets) erst wirtschaftlich.

Der KMU-RAG-Stack: was Sie konkret brauchen

Unser Standard-Stack für DACH-KMU, in echten Projekten erprobt:

5 Schritte zum produktiven RAG-System

Schritt 1 — Dokumenten-Inventur (2-5 Tage)

Bevor irgendeine Technik kommt: welche Dokumente sollen ins System? Vertragsablage, Wiki, Mail-Archiv, PDF-Bibliothek, CRM-Notizen? Volumen messen (Anzahl, GB), Vertraulichkeits-Klassifizierung, Zugriffsrechte klären. Häufiger Fehler: „alles rein" — besser kuratiert starten.

Schritt 2 — Dokumenten-Pipeline aufsetzen (3-5 Tage)

Dokumente werden in einheitliches Text-Format konvertiert (PDF → Text, DOCX → Text, E-Mails → Text), in „Chunks" zerlegt (typisch 500-1.000 Wörter pro Chunk mit Overlap), dann durch das Embedding-Modell geschickt. Resultat: Vektoren in der Datenbank.

Schritt 3 — Retrieval testen (2-3 Tage)

Stellen Sie 30-50 reale Test-Fragen aus dem Tagesgeschäft. Holt das System die richtigen Chunks? Wenn nein: Chunk-Größe anpassen, Embedding-Modell wechseln, Filter-Logik einbauen (z. B. nur Verträge ≤ 2 Jahre alt).

Schritt 4 — LLM verbinden + Prompt tunen (2-3 Tage)

Das LLM bekommt einen System-Prompt der Art „Antworte ausschließlich auf Basis der bereitgestellten Quellen. Wenn die Quellen die Frage nicht beantworten, sage das ehrlich." Halluzinationen reduzieren sich damit drastisch.

Schritt 5 — Frontend + Rollout (1-2 Wochen)

OpenWebUI mit RAG-Plugin oder eigene UI, Single-Sign-On gegen Active Directory / LDAP, Audit-Log für Compliance, Schulung des Teams.

4 Use Cases aus echten KMU-Projekten

Steuerberatungs-Kanzlei — Mandanten-Recherche

14 Jahre Mandantenakten (PDFs, DOCX) im RAG-System. Mitarbeitende fragen „Welche Mandanten hatten 2023 Probleme mit § 6b EStG?" — Antwort mit Quellenangabe in 8 Sekunden. Manuelle Recherchezeit von 2-3 h auf 5 min reduziert.

Maschinenbauer — Service-Wissen

5.000 Konstruktions-PDFs + 12.000 Service-Tickets im RAG. Techniker im Außendienst fragen via App, das Modell antwortet quellenbezogen. Bewährt sich besonders bei Wissens-Transfer zu jungen Mitarbeitenden.

Rechtsanwaltskanzlei — Schriftsatz-Vorbereitung

Eigene Schriftsätze + Urteils-Sammlung im RAG. Bei neuem Mandat: „Welche ähnlichen Fälle hatten wir?" — sofort relevante interne Präzedenzien plus passende Urteile.

Mittelständischer Konzern — HR-FAQ

Personalrichtlinien, Betriebsvereinbarungen, Tarifverträge im RAG. Mitarbeitende fragen über Slack-Bot „Wie viele Urlaubstage habe ich nach 5 Jahren?" — Antwort sofort, korrekt, ohne dass HR jedes Mal antworten muss.

Typische Fallstricke + wie wir sie umgehen

• Mangelnde Dokument-Qualität: Scans ohne OCR landen als unleserliche Chunks im Index. Fix: OCR-Stufe (Tesseract / Adobe-OCR) vor dem Embedding.
• Halluzinationen trotz RAG: Modell ignoriert die Quellen. Fix: System-Prompt verschärfen, Temperature niedrig (0.1-0.3), Quellen-Zitate erzwingen.
• Zugriffs-Rechte ignoriert: Jeder findet alles. Fix: RBAC-Filter im Retrieval, pro User nur Chunks ausspielen, für die er berechtigt ist.
• Veraltete Inhalte: alte Verträge werden immer wieder zitiert. Fix: Versions-Metadaten in jedem Chunk, Filter „nur aktuell" als Default.

Was kostet ein RAG-System wirklich?

Realistische Zahlen für ein Mittelstands-RAG mit ca. 50.000 Dokumenten und 10-30 aktiven Nutzern:

Zum Vergleich: Eine vergleichbare Cloud-RAG-Lösung (Custom-GPT Enterprise oder ChatGPT Team) liegt schnell bei 1.500-3.000 € pro Monat — also 18.000-36.000 € pro Jahr. Lokal lohnt sich ab ca. 8-12 aktiven Nutzern.

Was kostet das wirklich — und ab wann rechnet es sich?

20.000 € Setup-Kosten klingen erst mal nach viel. Die ehrliche Rechnung anhand realer Projekte:

Realistischer Erfahrungswert über alle Branchen: Break-Even im ersten Quartal, ROI ≥ 200 % im ersten Jahr. Voraussetzung ist, dass die eingesparte Zeit tatsächlich in produktive Arbeit fließt — nicht in mehr Kaffeepausen.

Weiterlesen

• Lokale KI — Praxis-Leitfaden 2026
• Beste Hardware für lokale KI
• Glossar: RAG
• Glossar: Embeddings
• Glossar: Vendor Lock-in
• KI-Richtlinie für KMU