llama.cpp
runtime · MIT (offen)
Referenz-Implementation für GGUF. CPU + AMD ROCm + Apple Metal + NVIDIA.
Kategorie
runtime
Lizenz
MIT
Wirklich offen?
✓ ja
Deutsche UI
— englisch
Docker-ready
✓ ja
Wartungslast
mittel
Proxmox/LXC-Hinweise:
LXC funktioniert mit CPU-Build; GPU braucht CUDA-Passthrough.