Qwen 2.5 7B

Kleinerer Qwen für Mid-Range-Hardware. Apache-2.0. Erstaunliche Qualität in 7B-Klasse.

Lizenz: Apache-2.0. Apache 2.0 ist eine der permissivsten Open-Source-Lizenzen — kommerzielle Nutzung, Modifikation und Weiterverbreitung uneingeschränkt erlaubt, inklusive Patent-Klausel. Das macht Qwen 2.5 7B besonders interessant für On-Prem-Deployments in Unternehmen, kommerzielle SaaS-Produkte und Embedded-Lösungen.

Qwen 2.5 7B hat 7 Mrd. Parameter und braucht in Q4_K_M-Quantisierung rund 6-7 GB VRAM. Damit läuft das Modell auf praktisch jeder modernen GPU ab RTX 3060 12GB aufwärts. Apple-Silicon-Geräte mit 16+ GB Unified Memory sind ebenfalls bestens geeignet.

Mit 128k Tokens Kontext (~96k Wörter) eignet sich Qwen 2.5 7B für lange Texte, Multi-Dokument-RAG und umfangreiche System-Prompts ohne Chunking-Overhead.

Deutsch-Qualität: gut. Solide deutsche Ausgabe für die meisten produktiven Use-Cases — gelegentlich englische Phrasen oder leichte Holprigkeiten, aber überzeugend.