CPU, GPU und NPU können alle an KI-Berechnungen beteiligt sein, erfüllen aber unterschiedliche Rollen. Für lokale Sprachmodelle ist entscheidend, welche Recheneinheit die verwendete Runtime tatsächlich unterstützt – nicht nur, welche Chips im Datenblatt deines Rechners stehen.
CPU: universell und fast immer verfügbar
Die CPU ist der allgemeine Prozessor des Computers. Viele lokale Modelle können vollständig auf der CPU ausgeführt werden. Das ist besonders praktisch, weil keine spezielle Grafikkarte notwendig ist. Bei größeren Modellen ist CPU-Inferenz jedoch häufig langsamer als eine gut unterstützte GPU.
GPU: hohe Parallelleistung
GPUs sind für viele parallele Berechnungen optimiert. Genau das passt gut zu den Matrixoperationen neuronaler Netze. Wenn genügend VRAM oder gemeinsamer Speicher verfügbar ist, kann GPU-Beschleunigung die Antwortgeschwindigkeit lokaler Modelle deutlich erhöhen.
NPU: spezialisierter AI-Beschleuniger
Eine NPU ist für bestimmte neuronale Berechnungen optimiert und arbeitet oft besonders energieeffizient. Neuere PCs integrieren solche Einheiten zunehmend. Ob ein Sprachmodell davon profitiert, hängt aber davon ab, ob Runtime, Modellformat und konkrete Operationen unterstützt werden.
Warum eine vorhandene NPU nicht automatisch genutzt wird
Viele lokale LLM-Runtimes wurden zunächst für CPU und GPU optimiert. Eine NPU kann deshalb im System vorhanden sein, ohne dass deine Anwendung sie für das ausgewählte Modell verwendet. Hardware allein reicht nicht; die Software muss den Ausführungsweg unterstützen.
Apple Silicon ist ein Sonderfall
Auf Macs mit Apple Silicon arbeiten CPU und GPU mit gemeinsamem Unified Memory. Zusätzlich besitzen die Chips eine Neural Engine. Für lokale Sprachmodelle wird in vielen Runtimes vor allem die GPU genutzt, während die Neural Engine nicht automatisch der Standardpfad für jedes Modell ist.
Windows-Systeme sind vielfältiger
Unter Windows können integrierte GPUs, dedizierte GPUs und NPUs verschiedener Hersteller zusammenkommen. Deshalb ist die Frage „Hat mein PC eine NPU?“ weniger wichtig als „Unterstützt meine konkrete AI-Runtime diese NPU für dieses Modell?“
Welche Einheit passt zu welchem Ziel?
- CPU: maximale Kompatibilität, kleine Modelle, kein spezieller Beschleuniger erforderlich
- GPU: hohe LLM-Geschwindigkeit, sofern genügend Speicher und Runtime-Unterstützung vorhanden sind
- NPU: energieeffiziente AI-Workloads, wenn Software und Modellpfad gezielt dafür optimiert sind
Hybridbetrieb ist möglich
Manche Runtimes verteilen Modellteile zwischen CPU und GPU. Das kann helfen, wenn der VRAM für das vollständige Modell nicht ausreicht. Die Geschwindigkeit hängt dann stark vom Datentransfer und der jeweiligen Hardware ab.
Priviot und Hardwarepfade
Für Priviot ist entscheidend, Hardwareunterstützung transparent statt pauschal zu kommunizieren. Ein Modell sollte nur dann als für eine bestimmte Beschleunigung geeignet dargestellt werden, wenn der tatsächlich verwendete Pfad unterstützt wird. Mehr Grundlagen findest du unter Lokale AI.
Fazit
CPU, GPU und NPU sind keine austauschbaren Synonyme für „AI-Chip“. Die CPU ist universell, die GPU für viele lokale Sprachmodelle besonders leistungsfähig und die NPU kann bei unterstützten Workloads sehr effizient sein. Entscheidend ist immer die Kombination aus Hardware, Runtime und Modell.