NVIDIA GeForce RTX 3090 vs NVIDIA Tesla P40

NVIDIA GeForce RTX 3090 vs. NVIDIA Tesla P40: Was ist der Unterschied für lokale KI?

Die NVIDIA GeForce RTX 3090 hat 24 GB GDDR6X mit 936 GB/s Bandbreite, die NVIDIA Tesla P40 24 GB GDDR5 mit 347 GB/s Bandbreite. Beim Speicher für KI-Modelle liegen beide gleichauf. Die TDP beträgt 350 Watt gegenüber 250 Watt. Erschienen ist die NVIDIA GeForce RTX 3090 2020, die NVIDIA Tesla P40 2016. Laut VRAM-Rechner der KI-Rundschau passen von 10 erfassten Modellen mit offenen Gewichten 9 auf die NVIDIA GeForce RTX 3090 und 9 auf die NVIDIA Tesla P40 (Q4_K_M, berechnet für 8k Kontext mit mindestens 0,5 GB Reserve). Das größte passende Modell ist auf beiden Qwen 2.5 32B.