GPU

Auf einen Blick

Eine GPU (Grafikkarte) ist das zentrale Bauteil für KI-Inferenz und -Training, da sie tausende parallele Berechnungen gleichzeitig ausführen kann. Ohne leistungsstarke GPUs wären moderne KI-Modelle wie GPT oder Stable Diffusion nicht realisierbar.

Hardware

GPU — Grafikkarte — das wichtigste Bauteil für KI-Inferenz und -Training.

Beispiel

Für lokale KI brauchst du eine NVIDIA-GPU mit viel VRAM. Eine RTX 4090 ist der Sweet Spot für Enthusiasten.

Verwandt: VRAM · CUDA · Cloud-GPU

Eine GPU (Grafikprozessor) ist ein spezialisierter Computerchip, der ursprünglich für die Darstellung von Bildern entwickelt wurde und heute die Grundlage für rechenintensive KI-Anwendungen bildet.

In einfachen Worten

Stellen Sie sich einen normalen Computerprozessor (CPU) als einen Vorarbeiter vor, der viele verschiedene Aufgaben nacheinander erledigt. Eine GPU hingegen ist wie ein Team von tausend Hilfskräften, die alle gleichzeitig an derselben Aufgabe arbeiten. Während die CPU einen Bericht von Seite 1 bis 10 durchgeht, kann die GPU tausend Seiten parallel berechnen. Genau diese Fähigkeit braucht Künstliche Intelligenz: Beim Trainieren eines Sprachmodells oder beim Erkennen von Mustern in Bildern müssen Millionen einfacher Rechenoperationen gleichzeitig ausgeführt werden. Eine GPU macht das in Minuten, wofür eine CPU Tage bräuchte.

Was bedeutet das technisch

Eine GPU enthält tausende kleine Rechenkerne, die für einfache, parallele Berechnungen optimiert sind. Im Gegensatz dazu hat eine CPU nur wenige, aber dafür leistungsstärkere Kerne, die komplexe Aufgaben mit vielen Entscheidungen bewältigen. Die GPU eignet sich daher besonders für Matrixmultiplikationen und Vektoroperationen – genau die Mathematik, die hinter neuronalen Netzen steckt.

Für KI-Anwendungen gibt es zwei wichtige Einsatzbereiche: Training und Inferenz. Beim Training eines großen Sprachmodells wie GPT-4 arbeiten hunderte GPUs wochenlang parallel. Für die Inferenz, also die eigentliche Nutzung des Modells, reicht oft eine einzelne GPU aus, die die Anfrage in Sekundenbruchteilen verarbeitet. Die Leistung einer GPU misst man in TFLOPS (Billionen Gleitkommaoperationen pro Sekunde). Aktuelle High-End-Modelle erreichen über 100 TFLOPS. Wichtig ist auch der Grafikspeicher (VRAM): Je größer das KI-Modell, desto mehr Speicher braucht die GPU. Ein Modell mit 7 Milliarden Parametern benötigt etwa 14 Gigabyte VRAM.

Warum es für KMU relevant ist

GPUs sind der teuerste Kostenfaktor beim Einsatz von KI. Eine einzelne professionelle GPU kostet zwischen 2.000 und 30.000 Euro. Für kleinere Unternehmen lohnt sich der Kauf oft nicht. Stattdessen mieten Sie GPU-Rechenleistung in der Cloud, zum Beispiel bei Anbietern wie AWS, Azure oder spezialisierten GPU-Clouds. Die Kosten liegen bei etwa 1 bis 5 Euro pro Stunde für eine einzelne GPU. Für ein KMU, das einmal im Monat ein KI-Modell nachtrainiert, reichen 50 Euro im Monat.

Praktische Anwendungsfälle: Ein Handwerksbetrieb nutzt eine GPU, um Fotos von Baustellen automatisch zu analysieren und Mängel zu erkennen. Ein Versicherungsmakler lässt KI Millionen von Dokumenten auf relevante Klauseln durchsuchen. Ein Online-Shop verwendet eine GPU für die Echtzeit-Bilderkennung, um Produktfotos automatisch zu verschlagworten. Der Stromverbrauch einer GPU ist nicht zu unterschätzen: Ein leistungsstarkes Modell zieht 300 bis 700 Watt – das läppert sich bei Dauerbetrieb auf mehrere hundert Euro Stromkosten im Jahr.

Verwandte Begriffe

CPU – Der Allrounder unter den Prozessoren für sequenzielle Aufgaben

TensorFlow – Software-Bibliothek, die GPUs für KI-Berechnungen nutzt

Neuronales Netz – Die mathematische Struktur, die auf GPUs trainiert wird

Cloud Computing – Mietmodelle für GPU-Rechenleistung ohne eigene Hardware

Token – Die Verarbeitungseinheit, die eine GPU in KI-Modellen berechnet

Häufige Fragen

Was ist der Unterschied zwischen CPU und GPU?

Eine CPU hat wenige, aber sehr leistungsstarke Kerne für sequenzielle Aufgaben. Eine GPU besitzt tausende kleinere Kerne, die parallel arbeiten – ideal für Matrixoperationen, wie sie in KI-Modellen vorkommen.

Welche GPU ist für KI-Einsteiger geeignet?

Für Einsteiger reicht oft eine Mittelklasse-GPU wie die NVIDIA RTX 4060 oder AMD Radeon RX 7600. Wer größere Modelle trainieren will, sollte zu einer RTX 4090 oder professionellen GPUs wie der NVIDIA A100 greifen.

Kann man KI auch ohne GPU betreiben?

Ja, aber extrem langsam. Für einfache Inferenz auf der CPU sind kleine Modelle möglich. Training ohne GPU ist bei modernen Deep-Learning-Modellen praktisch nicht durchführbar.

Was ist der Unterschied zwischen Gaming- und KI-GPU?

Gaming-GPUs (z. B. RTX 4090) sind für KI brauchbar, aber professionelle GPUs (z. B. NVIDIA H100) haben mehr VRAM, bessere Speicherbandbreite und Fehlerkorrektur (ECC), was für große Modelle und Rechenzentren wichtig ist.

Zuletzt aktualisiert: 2026-06-01 · Autor: Florian Neuhuber