Self-Hosting für lokale KI
Welche Software fährst du selbst — auf eigener Hardware oder Proxmox? Kuratiert mit Lizenz-Transparenz (echtes Open-Source vs. Sustainable-Use), Docker-Reife, Wartungslast und konkreten Proxmox-LXC-Hinweisen aus Praxis.
Was ist Self-Hosting für lokale KI?
Self-Hosting für lokale KI bedeutet, dass Sprachmodelle und die Software drumherum auf eigener Hardware oder eigenen Servern laufen statt bei einem Cloud-Anbieter. Die KI-Rundschau führt 12 solche Anwendungen in 4 Kategorien: Observability / Eval, Orchestrierung / Workflows, Runtime / Inferenz-Server und UI / Chat-Frontend. 10 der 12 Anwendungen stehen laut Übersicht unter einer offenen Lizenz, 11 sind als Docker-fertig eingestuft. Zu jeder Anwendung sind Lizenz, deutsche Oberfläche, Wartungslast und Hinweise für Proxmox erfasst.
Observability / Eval
Die Kategorie „Observability / Eval“ umfasst Werkzeuge, die Aufrufe von Sprachmodellen protokollieren und auswertbar machen. In dieser Kategorie führt die KI-Rundschau eine Anwendung: Langfuse. 1 von 1 steht unter einer offenen Lizenz, 1 von 1 ist als Docker-fertig eingestuft und 0 von 1 bieten eine deutschsprachige Oberfläche.
| App | Lizenz | Wirklich offen? | DE-UI | Docker | Wartungslast |
|---|---|---|---|---|---|
| Langfuse | MIT | ✓ | — | ✓ | mittel |
Orchestrierung / Workflows
Die Kategorie „Orchestrierung / Workflows“ umfasst Werkzeuge, die Sprachmodelle, Datenquellen und Arbeitsschritte zu Abläufen verbinden. In dieser Kategorie führt die KI-Rundschau 3 Anwendungen: Flowise, LiteLLM Proxy und n8n. 2 von 3 stehen unter einer offenen Lizenz, 3 von 3 sind als Docker-fertig eingestuft und 1 von 3 bietet eine deutschsprachige Oberfläche.
| App | Lizenz | Wirklich offen? | DE-UI | Docker | Wartungslast |
|---|---|---|---|---|---|
| Flowise | Apache-2.0 | ✓ | — | ✓ | niedrig |
| LiteLLM Proxy | MIT | ✓ | — | ✓ | niedrig |
| n8n | Sustainable Use License | ⚠ | ✓ | ✓ | mittel |
Runtime / Inferenz-Server
Die Kategorie „Runtime / Inferenz-Server“ umfasst Server-Software, die auf eigener Hardware läuft und KI-Anwendungen über eine Schnittstelle bedient. In dieser Kategorie führt die KI-Rundschau 4 Anwendungen: Ollama, Qdrant, llama.cpp und vLLM. 4 von 4 stehen unter einer offenen Lizenz, 4 von 4 sind als Docker-fertig eingestuft und 0 von 4 bieten eine deutschsprachige Oberfläche.
| App | Lizenz | Wirklich offen? | DE-UI | Docker | Wartungslast |
|---|---|---|---|---|---|
| Ollama | MIT | ✓ | — | ✓ | niedrig |
| Qdrant | Apache-2.0 | ✓ | — | ✓ | niedrig |
| llama.cpp | MIT | ✓ | — | ✓ | mittel |
| vLLM | Apache-2.0 | ✓ | — | ✓ | mittel |
UI / Chat-Frontend
Die Kategorie „UI / Chat-Frontend“ umfasst Bedienoberflächen, über die Nutzer mit lokalen oder angebundenen Sprachmodellen arbeiten. In dieser Kategorie führt die KI-Rundschau 4 Anwendungen: AnythingLLM, LM Studio, Oobabooga Text-Generation-WebUI und OpenWebUI. 3 von 4 stehen unter einer offenen Lizenz, 3 von 4 sind als Docker-fertig eingestuft und 2 von 4 bieten eine deutschsprachige Oberfläche.
| App | Lizenz | Wirklich offen? | DE-UI | Docker | Wartungslast |
|---|---|---|---|---|---|
| AnythingLLM | MIT | ✓ | ✓ | ✓ | niedrig |
| LM Studio | proprietary | ⚠ | — | — | niedrig |
| Oobabooga Text-Generation-WebUI | AGPL-3.0 | ✓ | — | ✓ | hoch |
| OpenWebUI | MIT | ✓ | ✓ | ✓ | niedrig |