KI-Agent für KMU einrichten: 5-Schritte-Anleitung (Hermes + MCP)

KI-Agenten 2026 sind keine Demo-Magie mehr — sie sind ein konkreter Stack aus drei Komponenten: ein LLM, eine Agent-Runtime und MCP-Server für Ihre Daten. Diese Anleitung führt Sie in 5 klaren Schritten von Null zum ersten produktiven Agent für Ihr KMU, lokal lauffähig, DSGVO-freundlich, ohne Vendor-Lock-in.

Was ist ein KI-Agent — die kurze Definition

Ein KI-Agent ist ein Programm, das ein LLM nutzt, um ein Ziel autonom zu verfolgen — über mehrere Schritte hinweg, mit Zugriff auf Werkzeuge, mit eigenem Gedächtnis. Unterschied zum „normalen" Chatbot: ein Chatbot antwortet eine Frage und vergisst sie. Ein Agent plant, führt aus, prüft, korrigiert.

Was 2026 wirklich neu ist: das ist nicht mehr nur Research-Spielerei. Mit Open-Source-Tools wie Hermes und OpenClaw kann jedes KMU einen produktiven Agenten in 1–2 Wochen aufsetzen — wenn man weiß, wie.

Der KMU-Agent-Stack: LLM + Runtime + MCP

Drei Bausteine, jeder austauschbar:

Das LLM (das Gehirn): Claude, GPT-5, oder lokal Llama 3.3 / Qwen 3 — siehe Pillar Lokale KI
Die Runtime (das Skelett, das das LLM in Aktion versetzt): Hermes Agent, OpenClaw, eigene Pipeline mit n8n
Die Werkzeuge (was der Agent tun kann): MCP-Server für CRM, Mail, Datei-Zugriff, eigene APIs

Wichtig: alle drei Komponenten sind voneinander entkoppelt. Sie können das LLM tauschen, ohne die Runtime zu ändern. Sie können die Runtime tauschen, ohne die MCP-Server umzubauen. Genau das macht den Stack zukunftssicher.

Schritt 1: LLM auswählen (lokal oder Cloud?)

Die erste Weichenstellung. Drei realistische Optionen für KMU:

Claude API (Anthropic): beste Qualität für Agent-Aufgaben, schnellster Einstieg, AVV in API-Plänen. Kosten: ca. 3 € / 1 Mio. Input-Tokens (Sonnet)
OpenRouter als Multi-Provider: Zugang zu 200+ Modellen mit einer API. Gut für Tests, bevor man sich festlegt
Lokales Llama 3.3 70B auf eigener Hardware: keine API-Kosten, volle DSGVO-Kontrolle, ein-malige Hardware-Investition — siehe Hardware-Kaufberatung

Empfehlung für KMU-Einstieg: mit Claude API starten für die ersten 4 Wochen Lernkurve. Wenn der Use Case sich bestätigt und Volumen vorhersehbar ist, auf lokales Llama wechseln.

Schritt 2: Hermes als Runtime installieren

Hermes ist 2026 die ausgereifteste Open-Source-Agent-Runtime. Auf Linux/macOS/WSL2 ein One-Liner:

curl -fsSL https://raw.githubusercontent.com/NousResearch/hermes-agent/main/scripts/install.sh | bash
source ~/.bashrc
hermes setup

hermes setup ist ein Wizard, der Sie durch LLM-Auswahl, API-Keys, gewünschte Werkzeuge und Messaging-Kanäle führt. 10 Minuten Setup-Zeit, danach läuft hermes im Terminal mit einem vollwertigen Agent.

Schritt 3: MCP-Server für Ihre Daten konfigurieren

Hier wird der Agent von „kann reden" zu „kann arbeiten". MCP-Server geben dem Agent strukturierten Zugriff auf Ihre Werkzeuge. Drei Server, die für 90 % der KMU-Setups Pflicht sind:

Filesystem-Server (Anthropic-Referenz): Zugriff auf einen definierten Ordner mit Verträgen, FAQs, Dokumenten
Mail-Server: Lesen + Drafts schreiben (kein automatisches Versenden ohne Approval!)
CRM-Server: lesender Zugriff auf HubSpot / Pipedrive / Odoo. Schreiben nur nach explizitem Freigabe-Schritt

Hermes erkennt MCP-Server automatisch in ~/.hermes/config.toml. Pro Server ein Eintrag mit Command + Args + Env-Variablen. Sicherheit: API-Keys via Env-Vars, niemals im Code.

Schritt 4: Erste Aufgabe + Eskalations-Regeln

Bevor Sie den Agent auf das Team loslassen: eine konkrete, abgegrenzte Aufgabe definieren. Bewährte Erst-Aufgaben für KMU:

„Beantworte interne FAQ-Fragen aus dem Dokumenten-Ordner und nenne Quellen"
„Klassifiziere eingehende Support-Mails und lege Antwort-Drafts an"
„Erstelle jeden Montag den Wochen-Report aus Plausible + GSC"

Genauso wichtig: Eskalations-Regeln. Wann darf der Agent eigenständig handeln, wann muss er fragen? Faustregel: alles, was Geld bewegt, Verträge berührt, oder extern sichtbar wird (E-Mail-Versand, Social-Post, CRM-Schreibaktion), braucht Human-Approval. Hermes hat dafür eingebaute „needs_review"-Flags.

Schritt 5: Multi-Channel ausrollen (Telegram, Slack, Mail)

Wenn der Agent solo läuft, ist der nächste Schritt: er kommt zu den Menschen, nicht umgekehrt. Hermes' Gateway-Prozess hängt ihn an Telegram, Slack, Discord, WhatsApp, Signal:

hermes gateway

Empfehlung: Telegram als Erstkanal. Kostenlos, läuft auf jedem Smartphone, Group-Chats mit Approval-Flow möglich. Ein:e Kolleg:in fragt im Telegram-Chat „@firma-agent: Wie viele Tage Urlaub hat Frau Müller noch?" — der Agent antwortet quellenbezogen aus der HR-Datenablage.

Kosten + Aufwand realistisch

Setup-Zeit: 4–8 Stunden für einen versierten DevOps-Menschen, 2–3 Tage für IT-Generalist:innen
LLM-Kosten (Claude API): 30–80 € / Monat pro aktivem Nutzer bei normalem KMU-Volumen
Lokales Llama statt API: 0 € laufend, einmalig 2.500–4.000 € Hardware
Wartung: 2–4 Stunden / Monat in den ersten 3 Monaten, danach < 1 Stunde / Monat

Wirtschaftlichkeit ab ca. 5 aktiven Nutzern klar positiv, bei sensiblen Branchen (Anwälte, Steuerberater) sofort wegen DSGVO-Position.

Typische Fallstricke

Zu groß starten: „Alle Mitarbeitenden ab Tag 1, alle Werkzeuge auf einmal" geht schief. Stattdessen: 1 Nutzer, 1 Use Case, 4 Wochen Beobachtung
Approval-Logik vergessen: ein Agent, der eigenständig Mails versendet, ist 2026 immer noch ein Risiko. Mensch im Loop = Pflicht
Modell-Halluzinationen unterschätzen: auch der beste Agent erfindet manchmal Quellen. Audit-Log + stichprobenartige Reviews — und das in der KI-Richtlinie festschreiben
Vergessen, dass AVV gilt: wenn der Agent personenbezogene Daten an Claude/GPT schickt, brauchen Sie einen AVV mit dem Anbieter