Llama 3.3 70B

Refresh von Llama 3.1 70B; bessere Instruktionsbefolgung. Llama-3-Community-Lizenz mit Sondervereinbarung über 700M MAU.

Lizenz: Llama-3-Community. Die Llama-3-Community-License ist nicht klassisch Open-Source: Unternehmen mit über 700 Millionen monatlich aktiven Nutzern brauchen eine Sondervereinbarung mit Meta. Für KMU und Mittelstand spielt das keine Rolle. Das macht Llama 3.3 70B besonders interessant für On-Prem-Deployments in Unternehmen, kommerzielle SaaS-Produkte und Embedded-Lösungen.

Llama 3.3 70B ist ein 70-Mrd.-Parameter-Schwergewicht. Q4_K_M braucht etwa 43 GB VRAM — eine einzelne Consumer-GPU reicht nicht. RTX 6000 Ada (48 GB), zwei RTX 4090 mit Tensor-Parallelism oder ein Apple Mac Studio M3 Ultra mit 96+ GB Unified Memory sind die realistischen Optionen.

Mit 128k Tokens Kontext (~96k Wörter) eignet sich Llama 3.3 70B für lange Texte, Multi-Dokument-RAG und umfangreiche System-Prompts ohne Chunking-Overhead.

Deutsch-Qualität: exzellent. Praktisch nicht von Frontier-Cloud-Modellen unterscheidbar in der deutschen Ausgabe — kohärent, idiomatisch, fachlich korrekt.