Lokale KI ausprobiert: Das leistet Qwen3.8-27B

Anfang August präsentierte Qwen, die KI-Abteilung des chinesischen Cloudanbieters Alibaba, Version 3.8 seines KI-Modells. Unter dem Namen Qwen3.8-Max gab es eine Variante mit 2,4 Billionen Parametern, von denen 95 Milliarden aktiv sind. Testen konnte man das Modell zunächst nur in der QwenCloud. Doch das Unternehmen versprach direkt: Open Weights folgen „next week“. Mit ein paar Tagen Verspätung löste Alibaba sein Versprechen ein, lieferte zuerst die Vollversion Qwen3.8-2.4T-A95B bei Huggingface ab und pünktlich zum Wochenende Qwen3.8-27B (mit 27 Milliarden Parametern, das B steht für die englische „Billion“). Letzteres erwartete die KI-Selfhosting-Community mit Spannung, weil bereits der Vorgänger Qwen3.6 einen Ruf als beste selbst betreibbare Alternative zu den Spitzenmodellen von OpenAI und Anthropic hatte – insbesondere für agentische Arbeit und Programmierung. Wegen der großen Erwartungen schaltete die Modellplattform Huggingface sogar eine Seite mit einem Countdown.

Benchmarks und Quantisierung

Das Qwen-Team lieferte nicht nur die Gewichte, sondern auch Benchmarkergebnisse, die bekanntlich nie die ganze Wahrheit abbilden, aber eine Tendenz enthalten: Beim Programmieren und Arbeiten mit Agenten, so die von Qwen selbst veröffentlichten Ergebnisse, sei Qwen3.8-27B besser als seine Vorgänger. Und auch besser als das kürzlich von Meta veröffentlichte Muse Glimmer 30B und gleichauf oder besser als das kommerzielle Opus 4.6 von Anthropic, das im Februar 2026 erschien. Wie gut sich Qwen3.8 für eine konkrete Aufgabenstellung und eine Arbeitsweise eignet und als wie hilfreich es wahrgenommen wird, verraten jedoch keine Benchmarks, sondern nur eigene Experimente.

Dass solche Experimente mit handelsüblicher (wenn auch aktuell nicht günstiger) Hardware mit 16 oder 24 GByte VRAM gleich am ersten Wochenende möglich sind, verdanken KI-Selfhoster den Anbietern von quantisierten Modellen, die zügig nach Veröffentlichung geliefert haben – allen voran Unsloth AI. Beim Quantisieren werden die Gewichte in weniger genauen Datenformaten gespeichert, sodass der Speicherbedarf sinkt. Performant läuft ein Modell nur dann, wenn es komplett in den Video-RAM der verfügbaren Grafikkarte passt.

Während man für das Originalmodell mit 32-Bit-Fließkommazahlen (FP32) mindestens 108 GByte VRAM plus Platz für den Key-Value-Cache einplanen muss (realistisch insgesamt 120 GByte), reichen für FP16 Karten mit 64 GByte. Die quantisierte Variante Q5_K_M passt in 22 GByte und damit in High-End-Grafikkarten für Spiele wie die AMD Radeon 7900 XTX und Nvidas RTX 3090 (Ti), 4090 und 5090. Von Unsloth gibt es außerdem die Variante NVFP4, die für die Rechenwerke von Nvidia-Karten der Blackwell-Reihe optimiert ist und bereits mit 16 GByte läuft. Anfang der Woche hat Unsloth zudem eine neue Software veröffentlicht, die Einsteigern den Betrieb von lokaler KI erleichtern soll: Mit Unsloth Desktop erhält man eine grafische Oberfläche.

Erste Tests

Für einen ersten Test haben wir Qwen3.8 in den Varianten Q8_0 und NVFP4 mit der Inferenzumgebung Llama.cpp auf Nvidia-Hardware (RTX Pro 6000 Blackwell) gestartet und ihm eine Aufgabe gestellt, in der es laut Benchmark brillieren soll: Das Modell musste ein komplettes REST-API für ein Warenwirtschaftssystem mit Benutzerverwaltung und rollenbasierter Berechtigung entwickeln und dabei keine Rückfrage stellen. Die erste Beobachtung: Die Quantisierung NVFP4, die knapp halb so viel VRAM belegte wie Q8_0, war nicht spürbar ungenauer oder schlechter. In keiner Variante neigte der Programmiergehilfe zu Schlamperei. Qwens Programmierleistung erwies sich vielmehr als bemerkenswert penibel, der Code kompilierte beim ersten Versuch und die bestellten Funktionen waren vorhanden.

Das Ergebnis dieses Experiments war nicht von Claudes Programmierkünsten zu unterscheiden. Wie kommerzielle Modelle bedachte Qwen zahlreiche Sonderfälle, die im Prompt nicht erwähnt wurden, fand während der Arbeit Duplikate im eigenen Code und setzte selbständig zum Refactoring an. Kritisieren kann man allenfalls eine leichte Tendenz, einfache Probleme zu sehr zu durchdenken, sich in Details zu verzetteln und damit viel Token und damit Zeit zu verbrauchen. Dieses Verhalten kann über Parameter aber noch feinabgestimmt werden.

Befreite Varianten

Fürs Selfhosting von KI-Modellen wie Qwen3.8 gibt es viele Argumente, allen voran Unabhängigkeit von Abomodellen der großen Anbieter oder datenschutzfreundliche Verarbeitung von personenbezogenen Daten. Ein anderes Argument sind die Schranken, die kommerzielle Anbieter wie Anthropic und OpenAI eingebaut haben. Der Versuch, etwa Sicherheitslücken mit den Spitzenmodellen zu finden oder Proof-of-Concepts für Lücken zu schreiben, scheitert an diesen.

Auch Qwen kommt von Haus aus mit Beschränkungen, doch bereits kurz nach Erscheinen liegen bei Huggingface sogenannte Abliterated-Versionen wie die von Blackfrost AI, in denen die Hürden weitgehend ausgebaut wurden. Wer für die Sicherheit von Infrastruktur oder Software zuständig ist, muss auf diese neue Lage reagieren: Modelle, die ungehemmt nach Lücken suchen, sind längst nicht mehr nur in der Hand weniger ethischer Hacker, die Anthropic handverlesen hat. Als erste Gegenmaßnahme kann man, passende Hardware vorausgesetzt, selbst zu Abliterated-Modellen greifen und die eigenen Systeme prüfen.