Fine-Tuning
Auf einen Blick
Fine-Tuning passt ein vortrainiertes KI-Modell mit eigenen Daten an spezifische Aufgaben an. Es verbessert die Leistung in Nischenbereichen, erfordert aber ausreichend Daten und Rechenleistung. Fortgeschrittene Methoden wie LoRA oder Reinforcement Learning optimieren Effizienz und Kontrolle.
Agenten & Fortgeschrittenes
Fine-Tuning — Ein bestehendes Modell mit eigenen Daten nachtrainieren.
Beispiel
Aus Llama 3.3 wird durch Fine-Tuning ein Modell, das deinen Schreibstil oder Fachjargon kennt.
Verwandt: LLM (Large Language Model) · Lokale KI
Mehr im Glossar
Fine-Tuning ist eine Methode, um ein bestehendes, allgemein vortrainiertes KI-Modell mit eigenen Daten nachzutrainieren, damit es spezifische Aufgaben besser erfüllt.
In einfachen Worten
Stellen Sie sich vor, Sie kaufen ein Standard-Kochbuch mit 1000 Rezepten. Es deckt alle Küchen der Welt ab, aber keines der Rezepte passt genau zu Ihrem Restaurant. Fine-Tuning bedeutet, dass Sie dieses Buch nehmen und es mit Ihren eigenen Spezialrezepten ergänzen. Sie behalten die Grundlagen (wie man einen Topf erhitzt), aber Sie trainieren den Koch auf Ihre Karte. Das Ergebnis: Der Koch kann jetzt genau das zubereiten, was Ihre Gäste bestellen – ohne jedes Mal das ganze Standardbuch durchblättern zu müssen. Im Gegensatz zum Training eines Modells von Null müssen Sie nicht Millionen von Rezepten sammeln. Sie brauchen nur einige Dutzend Ihrer eigenen.
Was bedeutet das technisch
Technisch gesehen starten Sie mit einem vortrainierten Basismodell (z. B. Llama 3, Mistral oder GPT-3.5). Dieses Modell hat bereits Milliarden von Parametern aus riesigen Textmengen gelernt. Es versteht Grammatik, Kontext und allgemeines Wissen. Fine-Tuning passt nun die Gewichte dieser Parameter an, indem Sie das Modell mit Ihren eigenen, gelabelten Daten weiter trainieren. Dabei nutzen Sie eine niedrige Lernrate, damit das Modell nicht das Gelernte vergisst („katastrophales Vergessen“).
Es gibt zwei Hauptverfahren: Volles Fine-Tuning aktualisiert alle Parameter des Modells. Das ist rechenintensiv und erfordert teure Grafikprozessoren (GPUs). Parameter-effizientes Fine-Tuning (PEFT) friert die meisten Parameter ein und trainiert nur kleine, zusätzliche Gewichtsschichten. Die bekannteste Methode ist LoRA (Low-Rank Adaptation). LoRA fügt dem Modell kleine Matrizen hinzu, die nur 1-5% der ursprünglichen Parameter ausmachen. Das senkt den Speicherbedarf drastisch – von 100 GB auf 5 GB für ein 7-Milliarden-Parameter-Modell. Sie können LoRA-Adapter dann wie Plugins austauschen, ohne das Basismodell neu zu laden.
Die Datenqualität ist entscheidend. Für einen Chatbot benötigen Sie Dialogpaare (Frage-Antwort). Für eine Klassifikation brauchen Sie Beispiele mit Labels. Faustregel: 100 bis 1000 hochwertige Beispiele reichen oft aus, um deutliche Verbesserungen zu erzielen. Mehr Daten helfen, aber minderwertige Daten schaden mehr als sie nutzen.
Warum es für KMU relevant ist
Für kleine und mittlere Unternehmen ist Fine-Tuning der effizienteste Weg, KI für spezifische Geschäftsprozesse zu optimieren, ohne ein eigenes Modell von Grund auf zu trainieren. Das spart Kosten und Zeit. Ein eigener Trainingsdurchlauf für ein 7-Milliarden-Modell kostet auf einer Cloud-GPU (z. B. NVIDIA A100) etwa 50 bis 200 Euro pro Stunde. Ein vollständiger Fine-Tuning-Durchlauf mit LoRA dauert oft nur 2-4 Stunden. Das sind Investitionen von wenigen hundert Euro – kein sechsstelliges Budget.
Konkrete Anwendungsfälle für KMU:
- Kunden-Support-Chatbot: Sie trainieren ein Modell auf Ihre FAQ, Produktdaten und Support-Tickets. Der Chatbot versteht dann Ihre spezifischen Produktnamen, Rabattaktionen und Garantiebedingungen.
- Interne Wissensdatenbank: Ein Fine-Tuned-Modell beantwortet Fragen zu Ihren Betriebsanleitungen, Compliance-Richtlinien oder Projektberichten. Das reduziert Suchzeiten.
- Texterstellung für Marketing: Sie passen ein Modell auf Ihren Markenton an (z. B. formell vs. locker, B2B vs. B2C). Das Modell schreibt dann Produktbeschreibungen oder Newsletter, die wie aus Ihrer Feder klingen.
- Dokumentenklassifikation: Sie trainieren das Modell, Rechnungen, Angebote und Lieferscheine automatisch zu sortieren. Das spart manuelle Arbeit in der Buchhaltung.
Risiken: Fine-Tuning kann das Modell auf Ihre Daten verzerren, wenn die Daten nicht repräsentativ sind. Sie brauchen daher saubere, gelabelte Datensätze. Zudem müssen Sie die Modellgröße wählen: Ein 7-Milliarden-Modell läuft auf einem handelsüblichen Server mit 32 GB RAM. Ein 70-Milliarden-Modell benötigt mehrere GPUs und ist für KMU meist zu teuer. Starten Sie mit kleinen Modellen und testen Sie, ob die Qualität reicht.
Verwandte Begriffe
Häufige Fragen
Was ist Fine-Tuning?
Fine-Tuning ist das Nachtrainieren eines bereits trainierten KI-Modells mit eigenen Daten. Dadurch passt man das Modell an spezifische Aufgaben oder Domänen an, ohne von Grund auf neu trainieren zu müssen.
Welche Daten braucht man für Fine-Tuning?
Man benötigt einen Datensatz, der die gewünschte Aufgabe repräsentiert. Die Daten sollten sauber, ausreichend groß und möglichst vielfältig sein. Für einfache Anwendungen reichen oft einige hundert Beispiele, für komplexe Aufgaben sind tausende nötig.
Was ist der Unterschied zwischen Fine-Tuning und Prompt-Engineering?
Beim Prompt-Engineering wird das Modell nicht verändert, sondern durch geschickte Eingabeaufforderungen gesteuert. Fine-Tuning hingegen passt die Modellgewichte dauerhaft an, was tiefgreifendere Anpassungen ermöglicht, aber mehr Aufwand erfordert.
Welche Fine-Tuning-Methoden gibt es?
Zu den Methoden gehören Full Fine-Tuning (alle Parameter), Parameter-Efficient Fine-Tuning (PEFT) wie LoRA oder Adapter, sowie Reinforcement Learning from Human Feedback (RLHF). PEFT ist ressourcenschonender, RLHF optimiert die Ausrichtung auf menschliche Präferenzen.
Zuletzt aktualisiert: 2026-06-01 · Autor: Florian Neuhuber
Kommentare ()