RTX Spark im Test: Nvidias erster Notebook-Chip für lokale KI

Vollmundig als „Neuerfindung des Windows-PC“ angekündigt, sind die RTX-Spark-Notebooks nun auf dem Markt. c’t 3003 hat sich mit dem Asus ProArt P14 ein erstes Spark-Gerät genauer angeschaut.

Transkript des Videos

(Hinweis: Dieses Transkript ist für Menschen gedacht, die das Video oben nicht schauen können oder wollen. Der Text gibt nicht alle Informationen der Bildspur wieder.)

Guckt mal hier, ich hab hier ein Notebook mit dem allerersten Notebook-Chip von Nvidia. N1X heißt das Teil und ihr kennt ihn vielleicht unter dem Markennamen RTX Spark. Das Besondere daran: bis zu 128 GB schnellen Unified-Speicher unterstützt das Teil und ist damit richtig gut geeignet für lokale KI. Oder? Tja, das finden wir raus in diesem Video.

Dafür hat mir Asus ein ProArt P14 vorab geschickt und ich teste natürlich nicht nur KI-Kram, sondern auch die Spieleleistung und vor allem: Läuft da eigentlich auch Linux drauf oder kann man die Teile wirklich nur mit dem vorinstallierten Windows verwenden? Bleibt dran.

Abgehoben sind, nee, abgehoben sind wir nicht. Nee. Ach so, weil die Sachen immer so teuer sind, die wir testen? Können wir auch nichts für, wegen Speicher. Ja. Ja.

Großer Vorteil von so einer Kiste wie dem RTX Spark ist ja: Ihr habt die Hardware selbst in der Hand.

Kapitel 1: Was ist RTX Spark?

Ja, auf der Computex im Juni hat Nvidia ja richtig doll Welle gemacht um die RTX-Spark-Notebooks, die als Besonderheit nicht nur 'ne kombinierte Nvidia-CPU-GPU haben, nennen sie Superchip, sondern vor allem schnellen gemeinsamen Speicher. Und schnellen Speicher braucht man halt nicht für lokale KI-Modelle. Das ist halt was, was normale Notebooks normalerweise nicht haben. Die haben halt normalen, langsamen DDR5-Speicher oder so und wenn es gut läuft, 'ne GPU-Einheit mit schnellerem Video-RAM, aber der ist oft nur 8 GB oder so groß und das ist ein bisschen wenig. Da passt nicht wirklich viel rein.

Denn will man ein lokales KI-Modell mit zumindest ansatzweise Claude- oder ChatGPT-Leistung, dann braucht man so was wie Qwen 3.8-27B mit 27 Milliarden Parametern. Und dieses Teil benötigt sogar in der extrem komprimierten oder, wie man in der KI-Welt sagt, quantisierten IQ4_XS-Variante 14 GB und das ist ohne, ja, Gedächtnis oder halt Kontext genannt. Mit Kontext, den man halt wirklich braucht, um damit was anfangen zu können, sind das dann schnell 18 GB oder mehr obendrauf, also nur für das KI-Modell. Man will aber ja auf dem Rechner noch andere Sachen tun. Ihr versteht das Problem.

Und dies Problem lösen aktuelle Notebooks mit Unified RAM, also Speicher, den sich Grafikeinheit, auf der die LLMs laufen, und CPU teilen. Mit dieser Technik arbeitet aber natürlich nicht nur Nvidia, sondern schon seit 2020 Apple mit ihren eigenen M-Chips und von AMD gibt's das auch. Das heißt dann Ryzen AI Max Pro oder halt Strix Halo bzw. Gorgon Halo. Gorgon. Gorgon, Gorgonzola, Gorgon Halo.

Und ganz kurz am Rande: Mit den sogenannten NPUs, also Neural Processing Units, die Microsoft ja für ihre Copilot+ PCs vorschreibt, hat das alles gar nichts zu tun. Von dieser NPU hat man gewöhnlich gar nichts, wenn man lokale KI-Modelle wie Qwen 3.8-27b laufen lassen will. Die laufen auf den GPU-Kernen.

Kapitel 2: Diese Modelle gibt es und so fühlt sich die Hardware an

Das ist jetzt quasi die Vorgeschichte von RTX Spark und jetzt Mitte Oktober kommen die ersten Modelle auf den Markt und zwar von so gut wie allen relevanten Notebook-Herstellern. Microsoft ist mit dabei, Surface Laptop Ultra heißt das RTX-Spark-Gerät von denen, ja, und alle haben nur ein 16-Zoll-Notebook am Start bzw. 15,3 bei Lenovo Yoga, nur Asus nicht. Die haben zusätzlich zum 16-Zoll-Gerät auch eine 14-Zoll-Variante namens Asus ProArt P14 und die hab ich vorab als Testgerät bekommen und zwar in der Version mit 32 GB gemeinsamem Speicher und 1 TB SSD, zwar komplett ohne irgendwelche Testvorgaben oder so.

Also ich kann machen, was ich will. 3300 Euro würde mein Leihgerät im Handel kosten. Wenn man 64 oder 128 GB haben will, was ziemlich sinnvoll ist, dazu komme ich gleich noch, muss man mindestens 4.300 bei 64 GB respektive 6.700 bei 128 GB ausgeben. Viel, viel, viel Geld, aber dafür kriegt man auch Windows.

Ja, das ist ein bisschen kurios, denn obwohl der RTX-Spark-Chip stark verwandt ist mit dem DGX Spark, ihr erinnert euch vielleicht, das waren diese kleinen KI-Workstations, laufen alle RTX-Spark-Notebooks standardmäßig unter Windows. Die DGX Spark laufen mit Linux, konkret einem von Nvidia angepassten Ubuntu. Ja, also Windows 11 halt in der Windows-für-Arm-Variante und beim ersten Einschalten fällt direkt beim wirklich schwarzen Schwarz auf: Ah ja, das ist ein OLED-Display. Sehr schön. Und ein wirklich hochwertiges: 2880 × 1800 Pixel und eine von meinem hochgeschätzten Notebook-Experten-Kollegen Florian gemessene Maximalhelligkeit von 599 Nits, was wirklich sehr hell ist.

Ja, und sonst ist das Gehäuse halt so High-End-Notebook-mäßig, gar nicht mal so unähnlich zum MacBook Pro, auch vom Gewicht her. Akkulaufzeit übrigens auch absolut okay. Das Asus P14 hielt bei 200 Nits Display-Helligkeit beim Videoabspielen über 19 Stunden lang durch.

Was aber leider nach dem Booten direkt negativ auffällt: Der Lüfter röhrt oft schon einfach so los, obwohl ich noch gar nichts gestartet hab. Und wenn ich Sachen mache, die so 'n bisschen fordernder sind, ja, dann wird's auch gerne mal richtig laut. Wir haben in unserer Schallmesskammer bis zu 2,7 sone bei Volllast gemessen. Zum Vergleich: Ein aktuelles MacBook Pro mit dem größten M5 Pro, leistungsmäßig vergleichbar, heult bei Volllast zwar auch auf 4,8 sone hoch, dafür aber wirklich nur bei Volllast, also nicht, wenn man irgendwelche anderen Sachen macht und vor allem nicht einfach auf dem ruhenden Desktop. Das Asus RTX Spark aber halt auch manchmal einfach so.

Kapitel 3: KI-Benchmarks im Vergleich

Ja, und ich würde sagen, so 'n MacBook Pro mit dem größten M5 Pro, also mit den 18 CPU- und 20 GPU-Kernen, das wäre so die primäre Konkurrenz von den RTX-Spark-Notebooks. Die kosten auch vergleichbar viel, allerdings gibt es den M5 Pro bei Apple nicht mit 32 GB, so viel hat ja unser RTX-Spark-Testgerät, sondern nur mit 24 oder 48 GB und mit letzterem und der größten M5-Pro-Ausbaustufe kostet so was bei Apple grob 3.800 €. So, und da gucken wir direkt mal, wie das nun ganz konkret mit lokaler KI im Vergleich aussieht. Ich hab den M5 Pro nämlich ganz frisch durchgebencht, allerdings in der Mac-mini-Version, aber die sollten sich nicht so doll unterscheiden, mit den aktuell wohl beliebtesten Modellen: Qwen 3.8-27B und Qwen 3.6-35B-A3B. Ja, und so sieht das hier aus. Mit dem dichten, langsameren Dense-Modell ist der RTX Spark mit 14,5 Token etwas schneller als der Apple M6 und der Strix Halo und etwas langsamer als der Apple M5 Pro. Ja, und deutlich schneller sind die Intel-Grafikkarte Arc Pro B70 mit 32 GByte und natürlich eine RTX-4090-GPU und der fetteste Mac Studio mit M5 Ultra.

Das ist übrigens alles komplett basic gebencht mit llama-bench ohne irgendwelche Zusatzparameter, also ohne solche Tricks wie z. B. Multi-Token Prediction, weil diese Sachen sehr stark vom Inhalt abhängen. Ihr könnt aber davon ausgehen, dass ihr mit MTP mindestens 25 Prozent noch draufrechnen könnt, beim Coden auch gerne noch mal deutlich mehr. Hier seht ihr ein paar von mir gemessene konkrete Zahlen mit einem M5 Ultra. Multi-Token Prediction bedeutet, dass das Modell selbst mit zusätzlichen Vorhersageköpfen schon mal ein paar Token spekulativ vorberechnet. Das verschlechtert die Qualität übrigens nicht, die werden dann noch mal nachgeprüft vom großen Modell, aber das steigert die Geschwindigkeit auf jeden Fall.

Ja, und apropos schneller: Wenn ihr ein bisschen Intelligenz gegen Geschwindigkeit eintauschen wollt, dann könnt ihr mit dem Mixture-of-Experts-Modell Qwen 3.6-35B-A3B, wo also immer nur Teile des Modells gleichzeitig laufen, deutlich mehr Tokens erreichen, nämlich fast 61 in der Sekunde auf dem RTX-Spark-Notebook ohne irgendwelche MTP-Tricks. Übrigens sind die Strix-Halo-Messwerte hier ein bisschen ungerecht. Ich hatte nämlich kein Strix-Halo-Notebook zur Hand, sondern nur 'n Framework-Desktop und der darf mit 120 Watt Dauerlast mehr als doppelt so viel Leistung verheizen wie das Asus-Notebook mit RTX Spark. Da sind's nur ca. 40 Watt und kurzzeitig 60 Watt, also der Nvidia-Chip ist definitiv effizienter. Bei den Macs ist der Unterschied zwischen MacBook Pro und Mac mini, also beim M5 Pro, offenbar nicht so relevant, aber wie gesagt, ich hatte gerade kein M5-Pro-Notebook.

Coding-Agenten im Praxistest

Wenn ihr übrigens mal sehen wollt, wie das langsame Qwen-3.8-27B-Modell und das schnellere Qwen-3.6-35B-A3B-Modell in Aktion aussehen, so sieht das aus. Also hier ist das langsame Modell am Laufen und hier das schnellere, während die beide mit meinem Coding-Tool Pi mir jeweils 'ne Website bauen. Und ich hatte ja auch gesagt, dass das Dense-Modell, also das 27B, schlauer ist. Das kann man auch in den Resultaten sehen. Hier, das ist jetzt einfach: Baue mir 'ne sophisticated aussehende Website für Jan-Keno Janssen, such dir alle Informationen über ihn im Netz zusammen. Und einmal das schnellere, dümmere Modell hier.

Ja, das sieht nicht nur langweilig aus bei dem dümmeren Modell, sondern da steht halt auch Quatsch drin. Also ich habe nie bei PC-WELT gearbeitet und auch sonst ist das sehr, ja, ist das unbrauchbar. Ja, und ganz anders hier bei dem Qwen-3-27B. Das sieht erstmal ganz nice aus, finde ich. Ich finde vor allem auch interessant, dass er sich dieses neckische Foto da irgendwo rausgesucht hat.

Also nur noch mal zur Sicherheit, dass man das wirklich versteht: Ich habe dem Modell keinerlei Kontext gegeben, es hatte auch keinerlei Kontext über mich im Vorfeld, sondern das ist ein ganz frisch aufgesetztes Modell. Ich hab gesagt: Such dir Infos raus über Jan-Keno Janssen und bau 'ne Website. Und ich muss sagen, das ist schon einigermaßen vernünftig. Also auch von der Gewichtung, was sind die Sachen, die relevant sind, was ist nicht relevant, ich finde, das ist schon ganz gut gelungen.

Ja, und guckt mal hier: Das ist die Branchenstandard-Intelligenzeinschätzung von Artificial Analysis. Da sind die größten aktuellen Cloud-Modelle von Anthropic, OpenAI und so drin, ganz frisch mit also auch Modellen, die diese Woche erst rausgekommen sind, also so Dinger, die auf millionenteuren Servern laufen. Und das kleine Qwen 3.8-27B, was, wie gesagt, realistisch unter 20 GByte inklusive Kontext nur braucht, spielt da mit. Also nicht ganz vorne, aber dennoch mit dabei mit beachtlichen 34 Punkten. Man muss allerdings immer dazu sagen: Dieser Intelligenz-Index hat nur ganz wenig mit echtem Wissen zu tun, sondern eher so was wie: Kann das Ding mit Tools umgehen, weiß es, wo es im Internet was suchen muss usw., also kriegt es Sachen auf die Reihe? Also weil Qwen hier eben nur 27 Milliarden Parameter hat, ist das Wissen begrenzt. Benutzt man das aber, wie hier mit dem Coding-Agenten Pi, so wie ich, oder mit OpenCode auch oder irgendwas, wo das Ding Werkzeuge benutzen kann, dann kann es sich Informationen aus dem Netz holen und dann ist das wirklich richtig praktisch.

Prompt-Verarbeitung und Effizienz

Ja, und apropos Agent: Will man Hardware einschätzen, auf der lokale Modelle laufen, ist nicht nur die Token Generation relevant, also wie schnell Text generiert wird – das messen die Benchmarks, die ich euch gerade gezeigt hab, und dabei kommt es fast ausschließlich auf die Speicherbandbreite an. Wichtig ist auch, wie schnell die Hardware Prompts verarbeitet. Denn so 'n Coding-Agent, der füllt sich auch mal 50.000 Tokens in den Kontext und die müssen erstmal berechnet werden, bevor überhaupt das erste neue Token ausgegeben wird. Da geht's nicht so sehr um Speicherbandbreite, sondern stumpf um Rechenleistung. Und da schneidet das RTX-Spark-Notebook deutlich besser ab als AMD Strix Halo und auch besser als Apple M5 Pro und M6. Also kurz: Man kann ein RTX-Spark-Notebook durchaus mit Qwen 3.8-27B produktiv nutzen. Mit dem Mixture-of-Experts-Modell, dem 35er, geht's deutlich schneller. Das ist aber halt nicht ganz so schlau.

Leider hatte ich aktuell auch kein DGX-Spark-Gerät zum direkten Vergleich, deshalb konnte ich damit die aktuellen Modelle nicht benchen. Ich hab aber dafür auf der RTX Spark noch mal die alten Modelle laufen lassen, damit ich die mit meinen Archiv-Benchmarks der DGX Spark vergleichen kann. Und das war auch ganz interessant: Obwohl die Hardware sehr ähnlich ist, schafft die DGX Spark oft das Doppelte und das liegt halt auch ganz klar daran, dass der DGX Spark mehr als das Doppelte verheizen darf. Wir haben damals bis zu 216 Watt gemessen, während bei der RTX Spark maximal Peaks von 60 Watt vorkamen.

Kapitel 4: Bildbearbeitung und CUDA-Vorteile

Ja, in der Praxis lief bei mir auf dem RTX Spark die Quantisierung Q4_K_M schon auch. Habt ihr auch gerade in den Benchmarks gesehen, aber da konnte man dann maximal parallel einen Agenten im Terminal nutzen. Sobald man gleichzeitig was im Browser gemacht hat oder sogar so was wie Blender oder Photoshop vom LLM bedienen lassen wollte, dann ging das System ziemlich in die Knie, einfach weil der Speicher nicht ausgereicht hat.

Ich hab deshalb noch mal die kleiner quantisierte IQ4_XS-Variante genutzt. Die spart noch mal ein paar Gigabyte Speicher und damit lief dann sogar Photoshop parallel. Generell hätte ich aber gerne eigentlich mindestens 48 GByte Unified RAM zur Verfügung gehabt. Damit wäre vieles noch geschmeidiger gegangen.

Ja, aber auch mit 32 GByte konnte ich, wie gesagt, Photoshop mit einem auf der gleichen Hardware laufenden LLM bedienen lassen. Ich hab das in meinem Fall mit dem Hermes-Agenten gemacht, der Photoshop über 'ne MCP-Schnittstelle steuert. Das ging jetzt out of the box zwar funktional gut, aber inhaltlich nicht so richtig. Hier hat das LLM ein beeindruckend aussehendes Bild über den RTX-Spark-Test zusammengebaut. Also ja, es kann Photoshop irgendwie steuern. Ob das jetzt in meinem Fall sinnvoll ist, so von vornherein irgendwelche Bilder zu generieren, ist die Frage. Es war auch völlig stumpf gepromptet. Also hat man so Workflows, also was weiß ich, man will bei 100 Photoshop-Bildern die Farbe einer bestimmten Ebene ändern, dann kann man das bestimmt sinnvoll per MCP-Agent machen mit diesem Gerät.

Also ganz allgemein: Dieser ganze LLM-Kram, also wo die Hardware ein Sprachmodell laufen lässt, also mit llama.cpp oder Ollama oder LM Studio, das geht inzwischen wirklich hardwareübergreifend gut, also wenn man irgendwo ein Gerät mit schnellem Speicher hat. Das ist also recht egal, ob man 'n Mac, 'n Strix Halo, 'ne Intel-Grafikkarte oder halt Nvidia-Hardware hat. Aber alles, was mit KI zu tun hat und was darüber hinausgeht, also z. B. so was wie Bild- und Videogenerierung mit ComfyUI, das geht zurzeit immer am besten mit Nvidia-Hardware, weil nur Nvidia die Programmierschnittstelle CUDA unterstützt und eben viele dieser Sachen am besten und schnellsten mit CUDA laufen. Wenn man also rundum sorglos unterwegs sein will, dann ist Nvidia hier schon 'ne gute Wahl.

Ich muss aber auch sagen, dass ich ComfyUI auf allen erwähnten Plattformen schon zum Laufen gebracht hab. Man muss da manchmal ein bisschen mehr frickeln, aber das meiste läuft dann auch doch schon. Vielleicht ein bisschen langsamer, aber es läuft.

Kapitel 5: Spieleleistung und Linux-Experimente

Ja, aber die CUDA-Kompatibilität ist auf jeden Fall ein Pluspunkt der RTX-Spark-Geräte und es laufen auch Spiele gut. Also man kann den normalen GeForce-Treiber installieren und dann, ja, spielen. Also Cyberpunk 2077 läuft z. B. mit dem Ultra-Preset, also der höchsten Grafikqualität ohne Raytracing, in Full HD ohne jegliche Hochskalierung mit 63 fps. Das kann man schon machen.

Und hier muss man allerdings bedenken, dass da die x86-für-Arm-Rechner-Kompatibilitätsschicht Prism läuft. Die schluckt natürlich ein bisschen Leistung, aber das klappt inzwischen generell alles ganz gut unter Windows. Also ich hatte mit keinem ausprobierten Spiel Probleme. Ja, hier habt ihr noch ein paar weitere Benchmark-Ergebnisse, z. B. 3DMark Steel Nomad und Geekbench 6. Ganz interessant: Bei Geekbench verbläst der M5 Pro den RTX Spark ziemlich doll, aber bei 3DMark setzt sich Nvidia dann wieder leicht nach vorne.

Ja, nun hatte ich ja am Anfang noch versprochen, mir mal anzugucken, ob auf dem RTX-Spark-Notebook Linux läuft. Weil ja der stark verwandte DGX Spark ein Ubuntu verwendet, habe ich mir auch mal das Standard-Ubuntu für Arm auf 'nen USB-Stick geworfen und davon gebootet. Übrigens, das UEFI-BIOS ist sehr rudimentär, da kann man wirklich außer Bootdatenträger und Secure Boot mal so gar nichts einstellen. Und Umlaute ist man auch nicht so Fan von, also mal Änderungen speichern. Ja, und das bootet dann sogar in Ubuntu rein, allerdings erstmal ohne Nvidia-Treiber und vor allem auch ohne Touchpad- und Tastaturtreiber. Man muss also zwingend Maus und Tastatur extern anschließen und dann lässt sich das irgendwie bedienen.

Jo, einmal hier Keno aus der Zukunft bzw. aus dem Linux-Rabbit-Hole: Ich hab Touchpad, Tastatur und GPU zum Laufen bekommen. Claude Code hat mir geholfen und sogar einen neuen Kernel kompiliert, aber viel wichtiger: Ich hab auch beide in diesem Video erwähnten Sprachmodelle, also Qwen 3.8-27B und Qwen 3.6-35B-A3B, exakt so gebencht wie unter Windows, auch mit der gleichen llama.cpp-Version. Und das Resultat ist ziemlich interessant. Vor allem das Mixture-of-Experts-Modell Qwen 3.6-35B-A3B läuft mit 14 beziehungsweise 9 Prozent schon signifikant schneller unter Linux, was ja wirklich kurios ist, weil RTX Spark ja als Neuerfindung des Windows-PCs angepriesen wurde von Nvidia und Microsoft.

Und Microsoft hat Windows auch extra für RTX Spark optimiert, z. B. mit WPS, Workload Profile Scheduling, damit die Aufgaben besser auf die vielen Cores verteilt werden können. Aber die Realität ist: Sogar auf einem von mir hingefrickelten, komplett unoptimierten Linux liefen einige Sachen besser. Mal abwarten, was da noch so kommt.

Fazit

Also ja, das Asus P14 bzw. RTX Spark als Ganzes, ja, ich muss sagen, ich bin jetzt nicht enttäuscht, ich bin aber auch nicht begeistert. Also das Ding macht jetzt keine überraschenden Dinge. Der Preis ist auch wirklich genau so, dass er exakt in das Preisgefüge der Konkurrenz so reinpasst. Und die Konkurrenz ist, davon würde ich mal ausgehen, Apple. 3.300 € kostet unser Testgerät hier mit 32 GB Unified RAM.

Ja, und man bekommt für 3.550 € bei Apple ein M5 Pro MacBook Pro mit 48 GB Speicher. Das ist meiner Meinung nach, wie gesagt, sinnvoller als 32 GByte, wenn man denn wirklich mit leistungsfähigen lokalen KI-Modellen was machen will. Wenn man mit KI nichts am Hut hat, dann ist das alles sowieso Overkill. Die Lüftersteuerung funktioniert bei Apple deutlich angenehmer. Das hat mich bei dem Asus echt genervt.

Dafür bekommt man aber bei Apple nicht den schönen OLED-Bildschirm und ja, man bekommt auch keine CUDA-Kompatibilität. Wenn man also z. B. was mit ComfyUI und Ähnlichem machen will, ist CUDA schon ein bisschen besser geeignet. Dafür gibt's Windows 11 bei RTX Spark. Linux ist noch nicht sicher, wann und wie das laufen wird und man kriegt 'ne bessere Spielekompatibilität mit RTX Spark. Das verbessert sich aber auch gerade bei Apple.

Richtig gute Preis-Leistung bieten auch Notebooks mit AMD Strix Halo bzw. Gorgon Halo, also Ryzen AI Max 300 oder 400. Man kriegt z. B. ein bisschen ältere dieser 32-GByte-Notebooks für unter 2000 Euro und die sind durchaus auch gut für lokale KI geeignet. Ja, haben wir was vergessen? Gerne in die Kommentare schreiben. Tschüss.

c't 3003 ist der YouTube-Channel von c't. Die Videos auf c't 3003 sind eigenständige Inhalte und unabhängig von den Artikeln im c't Magazin. Die Redakteure Jan-Keno Janssen, Lukas Rumpler, Sahin Erengil und Pascal Schewe veröffentlichen jede Woche ein Video.