llama.cpp
runtime · MIT (offen)
Was ist llama.cpp?
llama.cpp ist eine Software für den Selbstbetrieb lokaler KI. Die KI-Rundschau ordnet llama.cpp in ihrer Self-Hosting-Übersicht als „Runtime / Inferenz-Server“ ein, also als eine Server-Software, die auf eigener Hardware läuft und KI-Anwendungen über eine Schnittstelle bedient. llama.cpp steht unter der Lizenz MIT; die KI-Rundschau stuft sie als offene Lizenz ein. Eine deutschsprachige Oberfläche ist laut Datenbank nicht vorhanden.
Referenz-Implementation für GGUF. CPU + AMD ROCm + Apple Metal + NVIDIA.
Wie betreibt man llama.cpp selbst?
llama.cpp ist in der KI-Rundschau-Übersicht als Docker-fertig eingestuft, lässt sich also als Container betreiben. Für den Betrieb auf Proxmox notiert die KI-Rundschau: LXC funktioniert mit CPU-Build; GPU braucht CUDA-Passthrough. Die laufende Wartungslast von llama.cpp bewertet die KI-Rundschau als mittel; gemeint ist der Aufwand für Updates, Datenhaltung und Fehlersuche im Dauerbetrieb.
Ist llama.cpp Open Source?
llama.cpp steht unter der Lizenz MIT und gilt damit als Open Source. Die MIT-Lizenz erlaubt Nutzung, Änderung und Weitergabe, auch kommerziell, solange der Lizenzhinweis erhalten bleibt. Für den Betrieb im eigenen Unternehmen heißt das: llama.cpp darf auf eigener Hardware installiert und angepasst werden, ohne Lizenzgebühr an den Hersteller. Maßgeblich ist der Lizenztext im Repository des Projekts.