GPU
Hardware
GPU — Grafikkarte — das wichtigste Bauteil für KI-Inferenz und -Training.
Beispiel
Für lokale KI brauchst du eine NVIDIA-GPU mit viel VRAM. Eine RTX 4090 ist der Sweet Spot für Enthusiasten.
Verwandt: VRAM · CUDA · Cloud-GPU
Mehr im Glossar
Eine GPU (Grafikprozessor) ist ein spezialisierter Computerchip, der ursprünglich für die Darstellung von Bildern entwickelt wurde und heute die Grundlage für rechenintensive KI-Anwendungen bildet.
In einfachen Worten
Stellen Sie sich einen normalen Computerprozessor (CPU) als einen Vorarbeiter vor, der viele verschiedene Aufgaben nacheinander erledigt. Eine GPU hingegen ist wie ein Team von tausend Hilfskräften, die alle gleichzeitig an derselben Aufgabe arbeiten. Während die CPU einen Bericht von Seite 1 bis 10 durchgeht, kann die GPU tausend Seiten parallel berechnen. Genau diese Fähigkeit braucht Künstliche Intelligenz: Beim Trainieren eines Sprachmodells oder beim Erkennen von Mustern in Bildern müssen Millionen einfacher Rechenoperationen gleichzeitig ausgeführt werden. Eine GPU macht das in Minuten, wofür eine CPU Tage bräuchte.
Was bedeutet das technisch
Eine GPU enthält tausende kleine Rechenkerne, die für einfache, parallele Berechnungen optimiert sind. Im Gegensatz dazu hat eine CPU nur wenige, aber dafür leistungsstärkere Kerne, die komplexe Aufgaben mit vielen Entscheidungen bewältigen. Die GPU eignet sich daher besonders für Matrixmultiplikationen und Vektoroperationen – genau die Mathematik, die hinter neuronalen Netzen steckt.
Für KI-Anwendungen gibt es zwei wichtige Einsatzbereiche: Training und Inferenz. Beim Training eines großen Sprachmodells wie GPT-4 arbeiten hunderte GPUs wochenlang parallel. Für die Inferenz, also die eigentliche Nutzung des Modells, reicht oft eine einzelne GPU aus, die die Anfrage in Sekundenbruchteilen verarbeitet. Die Leistung einer GPU misst man in TFLOPS (Billionen Gleitkommaoperationen pro Sekunde). Aktuelle High-End-Modelle erreichen über 100 TFLOPS. Wichtig ist auch der Grafikspeicher (VRAM): Je größer das KI-Modell, desto mehr Speicher braucht die GPU. Ein Modell mit 7 Milliarden Parametern benötigt etwa 14 Gigabyte VRAM.
Warum es für KMU relevant ist
GPUs sind der teuerste Kostenfaktor beim Einsatz von KI. Eine einzelne professionelle GPU kostet zwischen 2.000 und 30.000 Euro. Für kleinere Unternehmen lohnt sich der Kauf oft nicht. Stattdessen mieten Sie GPU-Rechenleistung in der Cloud, zum Beispiel bei Anbietern wie AWS, Azure oder spezialisierten GPU-Clouds. Die Kosten liegen bei etwa 1 bis 5 Euro pro Stunde für eine einzelne GPU. Für ein KMU, das einmal im Monat ein KI-Modell nachtrainiert, reichen 50 Euro im Monat.
Praktische Anwendungsfälle: Ein Handwerksbetrieb nutzt eine GPU, um Fotos von Baustellen automatisch zu analysieren und Mängel zu erkennen. Ein Versicherungsmakler lässt KI Millionen von Dokumenten auf relevante Klauseln durchsuchen. Ein Online-Shop verwendet eine GPU für die Echtzeit-Bilderkennung, um Produktfotos automatisch zu verschlagworten. Der Stromverbrauch einer GPU ist nicht zu unterschätzen: Ein leistungsstarkes Modell zieht 300 bis 700 Watt – das läppert sich bei Dauerbetrieb auf mehrere hundert Euro Stromkosten im Jahr.
Verwandte Begriffe
CPU – Der Allrounder unter den Prozessoren für sequenzielle Aufgaben
TensorFlow – Software-Bibliothek, die GPUs für KI-Berechnungen nutzt
Neuronales Netz – Die mathematische Struktur, die auf GPUs trainiert wird
Cloud Computing – Mietmodelle für GPU-Rechenleistung ohne eigene Hardware
Token – Die Verarbeitungseinheit, die eine GPU in KI-Modellen berechnet
Kommentare ()