vLLM
runtime · Apache-2.0 (offen)
Was ist vLLM?
vLLM ist eine Software für den Selbstbetrieb lokaler KI. Die KI-Rundschau ordnet vLLM in ihrer Self-Hosting-Übersicht als „Runtime / Inferenz-Server“ ein, also als eine Server-Software, die auf eigener Hardware läuft und KI-Anwendungen über eine Schnittstelle bedient. vLLM steht unter der Lizenz Apache-2.0; die KI-Rundschau stuft sie als offene Lizenz ein. Eine deutschsprachige Oberfläche ist laut Datenbank nicht vorhanden.
Hochperformante Production-Runtime. Continuous Batching. GPU-Memory effizienter als Ollama.
Wie betreibt man vLLM selbst?
vLLM ist in der KI-Rundschau-Übersicht als Docker-fertig eingestuft, lässt sich also als Container betreiben. Für den Betrieb auf Proxmox notiert die KI-Rundschau: VM mit GPU-Passthrough besser als LXC (CUDA driver context). Speicher-vorallokierend. Die laufende Wartungslast von vLLM bewertet die KI-Rundschau als mittel; gemeint ist der Aufwand für Updates, Datenhaltung und Fehlersuche im Dauerbetrieb.
Ist vLLM Open Source?
vLLM steht unter der Lizenz Apache-2.0 und gilt damit als Open Source. Die Apache-2.0-Lizenz erlaubt Nutzung, Änderung und Weitergabe, auch kommerziell, und enthält eine ausdrückliche Patentlizenz. Für den Betrieb im eigenen Unternehmen heißt das: vLLM darf auf eigener Hardware installiert und angepasst werden, ohne Lizenzgebühr an den Hersteller. Maßgeblich ist der Lizenztext im Repository des Projekts.