NPU: Wozu dient der KI-Chip in Notebooks?

Auf CPU folgen GPU und NPU

Prozessoren existieren seit Jahrzehnten in Notebooks, GPUs folgten nicht viel später. Die NPU – Neutral Processing Unit – ist noch relativ neu. Hauptaufgabe des kompakten Chips ist es, typische KI-Aufgaben wesentlich schneller und/oder effizienter durchführen zu können als CPU und GPU. Die Rechenleistung wird bei NPUs meist in TOPS gemessen, mindestens 40 sollten es sein, wenn es nach Microsoft geht. Heute ist das kein Problem mehr, selbst kleine Einstiegschips wie der Core Ultra Series 3 schaffen das bereits. 

Bei AMD sieht es ähnlich aus, auch Apples hauseigene M-Chips sowie Qualcomms Snapdragon-Varianten bieten genügend Rechenleistung, um die genannten 40 TOPS zu erreichen. Aber was genau machen die einzelnen Komponenten im Alltag? 

CPU: kann alles, aber nichts besonders gut

Die CPU ist in absolut jeden Vorgang im Notebook involviert. Sie kann nichts besonders herausragend, aber dafür kann sie eben alles: Programme starten, RAM verwalten, Aufgaben vom Betriebssystem annehmen und verteilen, Rechenaufgaben übernehmen und vieles mehr. In modernen CPUs mit kleineren und größeren Kernen übernehmen alle Kerne etwas, was ihnen passt: Kleine, effiziente Kerne für kleine Aufgaben, größere Performance-Kerne für schwierige Aufgaben. 

KI-Anwendungen liegen CPUs hingegen nicht besonders gut. Daher verteilt der Prozessor diese Arbeitslast lieber an die NPU und/oder GPU – je nach Art der Aufgabe. Vorstellen kannst Du Dir die CPU in deinem Notebook daher ein wenig wie eine Managementkomponente, die verteilt, berechnet, sortiert und mehr. 

GPU: extreme Rechenleistung für bestimmte Aufgaben

GPUs sind spezialisierte Einheiten, die spezifische Bereiche wesentlich(!) schneller berechnen können als CPUs. Ursprünglich wurden sie vor allem für Spiele entwickelt, später hat man aber erkannt, dass sich die brachiale Leistung dieser Komponenten auch für viele weitere Aufgaben nutzen lassen. So rechnen GPUs vor allem kleine Aufgaben gerne hochgradig parallel ab, was bei 3D-Aufgaben ebenso gut funktioniert wie bei Video- und Bildbearbeitung – oder beim Training und Inferencing von KI-Aufgaben. 

In modernen Notebooks ist die GPU oft direkt in die CPU integriert, teurere Modelle hingegen bringen dedizierte Grafikkarten wie GeForce-GPUs oder Radeon-Modelle von AMD mit. Für KI im Speziellen ist neben der rohen Rechenleistung vor allem die Speicherbestückung wichtig: Je mehr VRAM, desto besser. Ein Limit kann nach oben gibt es praktisch nicht. 

NPU: hochgradig effizient für einen einzigen Bereich

Die NPU ist kein Wunderwerk der Technik, sondern schlicht so designt, dass die von KI-Anwendungen gefragten Berechnungen deutlich effizienter als mit jeder anderen Hardware durchgeführt werden können. Sie ist schneller als eine GPU, spart dabei Strom und sendet Daten sehr viel schneller von A nach B. Der Nachteil ist, dass die NPU abgesehen davon nichts Besonderes beherrscht. Liegen gerade keine KI-Aufgaben an, kannst Du also auch nicht erwarten, dass Dein Gerät durch das bloße Vorhandensein der NPU schneller wird. 

Die großen Vorteile werden beim Inferencing spürbar, also dem eigentlichen Nutzen einer KI-Anwendung. Fragst du etwa ChatGPT etwas, wird der Bot Dir eine Antwort ausgeben – und das heißt Inferencing. Genau dies können NPUs sehr gut, sodass etwa eine lokal auf deinem Gerät laufende KI-Anwendung wesentlich schneller Antworten ausspuckt als ohne NPU. 

Fürs Training hingegen bleiben GPUs das Maß aller Dinge. NPUs sind somit reine Consumer-Chips, die auf Smartphone, Tablet, Notebook & Co. die Ausgabe von KI-Antworten beschleunigen kann. 

Lokale KI – aber wozu?

Jetzt könntest Du natürlich fragen: „Wozu brauche ich lokale KI-Anwendungen auf meinem Gerät, wenn es doch GPT, Claude und Gemini einfach so im Browser gibt?“ Dazu gibt es mehrere Antworten: 

• Geschwindigkeit: Vorausgesetzt, das Modell ist klein genug und Deine Hardware schnell genug, wirst Du die Antwort fast in Echtzeit erhalten – ohne Netzwerkanfragen, die übers Internet geschickt werden müssen. Gerade bei zeitkritischen Anwendungen (etwa Audio-Unterhaltungen) kann das ein Vorteil sein. 
• Offline: Lokale Anwendungen müssen keine Verbindung ins Internet aufbauen. Hast Du aus irgendeinem Grund gerade keine Internetverbindung, kannst Du trotzdem auf Deine KI-App zugreifen.
• Datenschutz: Du musst keine Dokumente, Fotos, Videos, Sprachdateien oder ähnliche Informationen ins Internet hochladen. Alles bleibt lokal bei Dir auf Deinem Gerät – und trotzdem kannst Du auf KI-Features zugreifen. 

Bei all der Euphorie sollte aber die Kirche auch ein wenig im Dorf bleiben. Keine NPU der Welt kann aktuell mit der Infrastruktur von OpenAI und anderen Firmen mithalten. Du kannst also nicht erwarten, etwas mit der Leistung der aktuellen ChatGPT-Modelle plötzlich in der Hosentasche zu haben. Für kleine Aufgaben kann es aber durchaus ausreichen. 

NPU-Features unter Windows nutzen

Für bestimmte Aufgaben kommt die NPU in Deinem System heute schon unbemerkt zum Einsatz – etwa in Videomeetings. Die in Windows eingebauten Studioeffekte zeigen etwa den Hintergrund hinter Dir unscharf oder geben Dir in Echtzeit Untertitel aus, wenn andere Personen reden. Dafür wird die NPU verwendet, sofern vorhanden. Die Auslastung der NPU kannst Du im Taskmanager sehen, dort ist neben CPU und GPU inzwischen auch die NPU zu finden. 

Manche Apps greifen ebenfalls auf die NPU zu – etwa bei der Bildbearbeitung. So können Bilder hoch- oder runterskaliert werden, außerdem könntest Du bestimmte Objekte aus dem Bild entfernen. Sofern eine NPU vorhanden ist, werden die Programme (wenn sie ausreichend modern sind) die NPU verwenden, um diese Aufgaben durchzuführen. 

Mehr TOPS ist besser?

TOPS allein sind nicht unbedingt aussagekräftig. GPUs etwa schaffen problemlos über 1.000 TOPS, NPUs hingegen kommen nur auf 100 – wie passt das zusammen? Neben diesem Wert, der die Rechenoperationen pro Sekunde beziffert, werden die Aufgaben mit unterschiedlich hoher Präzision berechnet. NPUs rechnen viel ungenauer, was für KI-Aufgaben aber reicht. Eine NPU mit 80 TOPS wird also sehr viel schneller in KI-Anwendungen sein als eine GPU mit 80 TOPS. 

Sollte ich beim Kauf auf die NPU achten?

Die eindeutige Antwort lautet: vielleicht. Nutzt Du Dein Gerät auf eine sehr moderne Weise und möchtest generell tiefer in die KI-Materie eintauchen, kann es nicht schaden, auf die NPU-Leistung in Form von TOPS zu achten. Noch einmal müssen wir allerdings anmerken, dass wirklich nur lokale Aufgaben beschleunigt werden. Nutzt Du GPT und andere KI-Awendungen ausschließlich im Internet, bringt Dir eine NPU gar nichts. Einen immensen Aufpreis zu bezahlen, nur um dann brachliegende NPU-Rohleistung zu haben, ist wenig zielführend. 

Ist KI aber genau Dein Ding, kann es sehr wohl lohnenswert sein, viel NPU-Leistung zu haben. Bei Experimenten zu Hause wirst Du deutliche Vorteile bemerken – am besten gepaart mit mindestens 32 GB RAM und 16 GB VRAM. Mehr ist besser. Der wahre Durchbruch von „KI zu Hause“ wird dann kommen, wenn selbst kleine Smartphone- und Notebook-Chips ausreichend gut sind, um GPT-ähnliche Funktionen auf Endgeräten verwenden zu können – doch das wird noch Jahre dauern.