LiteLLM Proxy
orchestration · MIT (offen)
Was ist LiteLLM Proxy?
LiteLLM Proxy ist eine Software für den Selbstbetrieb lokaler KI. Die KI-Rundschau ordnet LiteLLM Proxy in ihrer Self-Hosting-Übersicht als „Orchestrierung / Workflows“ ein, also als ein Werkzeug, das Sprachmodelle, Datenquellen und Arbeitsschritte zu Abläufen verbindet. LiteLLM Proxy steht unter der Lizenz MIT; die KI-Rundschau stuft sie als offene Lizenz ein. Eine deutschsprachige Oberfläche ist laut Datenbank nicht vorhanden.
Universal-Proxy für 100+ LLM-Provider. Drop-in-OpenAI-API.
Wie betreibt man LiteLLM Proxy selbst?
LiteLLM Proxy ist in der KI-Rundschau-Übersicht als Docker-fertig eingestuft, lässt sich also als Container betreiben. Für den Betrieb auf Proxmox notiert die KI-Rundschau: LXC mit Postgres-Persistence. Rate-Limiting + Cost-Tracking inkl. Die laufende Wartungslast von LiteLLM Proxy bewertet die KI-Rundschau als niedrig; gemeint ist der Aufwand für Updates, Datenhaltung und Fehlersuche im Dauerbetrieb.
Ist LiteLLM Proxy Open Source?
LiteLLM Proxy steht unter der Lizenz MIT und gilt damit als Open Source. Die MIT-Lizenz erlaubt Nutzung, Änderung und Weitergabe, auch kommerziell, solange der Lizenzhinweis erhalten bleibt. Für den Betrieb im eigenen Unternehmen heißt das: LiteLLM Proxy darf auf eigener Hardware installiert und angepasst werden, ohne Lizenzgebühr an den Hersteller. Maßgeblich ist der Lizenztext im Repository des Projekts.