Model-Schau: Decision-Modelle, N-Gramme, schlanke Modelle und lokale LLMs

Nach aufregenden LLM-Entwicklungen im Sommer geht es erwartungsgemäß im Herbst Schlag auf Schlag weiter, auch mit einigen Überraschungen. Großen Wirbel verursachte z.B. Jev als Decision-Modell. DeepSeek und Qwen haben hingegen ihren neuen Modellen N-Gramm-Embeddings beigebracht, DeepSeek hat zudem die ganze Architektur auf den Kopf gestellt.

Decision-Modelle als neuer Trend

Mit dem eingängigen Motto „Don’t Chat. Decide“ startete das Decision-Modell Jev. Die Idee dabei ist, dass das Modell Entscheidungen trifft, die natürlich auch ein herkömmliches Sprachmodell treffen könnte. Allerdings kann man bei Jev vorgeben, auf welche Antworten es sich beschränken muss. Auch das wäre für ein LLM kein Problem mit Constrained Generation oder einem strukturierten JSON-Output. Jev ist aber deutlich schneller und liefert zusätzlich eine Konfidenz für die jeweilige Entscheidung mit.

Am 15. Oktober 2026 widmet sich die Online-Konferenz „LLMs im Unternehmen“ den lokalen Modellen: Für welche Anwendungen sie sich lohnen, welche Hardware erforderlich ist und wie man die Performance optimiert.

Das kommerzielle Projekt hat hohe Wellen geschlagen, weil es sich sehr einfach bedienen und damit skripten lässt. Neue Anwendungen, mit denen Jev beispielsweise Tetris spielt, schossen wie Pilze aus dem Boden.

Wie immer ruft eine solche Idee die Open-Source-Community auf den Plan. Viele diskutieren, wie so etwas umsetzbar ist. Zero-Shot-Modelle kennt man schon lange und die Vermutung liegt nahe, dass Jev auch auf einem solchen beruht oder aus einem Standard-LLM durch Feintuning entstanden ist. Konsequenterweise gibt es nun eine ganze Reihe von Open-Source-Clones, die Ähnliches bewerkstelligen können und damit prahlen, noch genauer oder schneller als Jev zu sein. Die Ansätze der Nachbauten sind ganz unterschiedlich.

Laya basiert auf einem ModernBert-Modell und ist für Entscheidungen feingetunt. Da es kein generatives Modell und nicht autoregressiv ist, arbeitet es schnell. Außerdem eignet es sich für weitere relativ einfache Feintunings, sodass man es an den eigenen Bedarf anpassen kann. Eine multilinguale Anpassung liefert Laya gleich mit.

Laut Angaben der Laya-Macher übertrifft das Modell Jev bei allen Benchmarks. Zudem implementiert es die gleiche API. Existierende Jev-Software ließe sich so mit sehr geringem Aufwand auf Laya übertragen. Ähnliches kennt man aus der generativen KI-Welt bereits durch die Open-AI-Schnittstelle als Lingua Franca.

Laya steht nicht alleine, auch Cloudflare hat ein Jev-ähnliches Modell gebaut und nennt es frech Clef. Es ist als generatives Modell deutlich größer als Laya, basiert auf Qwen3.8-27B und erbt damit auch seine gute Performance. Neben dem regulären Modell existiert noch die kleinere Variante Clef-Flash, die auf Qwen3.5-9B beruht und ihrem großen Bruder in vielerlei Hinsicht das Wasser reichen kann. In den veröffentlichten Benchmarks sind auch die Clef-Modelle Jev fast immer überlegen. Merkwürdig ist, dass es sich um völlig andere Benchmarks als bei Laya handelt. Vermutlich verwenden Hersteller mangels allgemeiner Gütekriterien jeweils den Benchmark, der ihre Modelle in einem guten Licht erscheinen lässt.

Deutlich kleiner, aber laut Anbieter auch wieder besser als Jev, ist Julia-1 von Supersonic Labs. Das Modell verfügt nur über 144 Millionen Parameter und ist damit entsprechend schnell. Ähnlich wie Laya handelt es ich um ein Feintuning eines BERT-Modells (mmBERT-small). Immerhin finden sich auf der Model-Card auch einige Einschränkungen: Unter anderem kann es nur schlecht argumentieren oder wissensbasierte Entscheidungen treffen.

Alle Modelle unterstützen Klassifikation (z.B. für die Auswahl einer Kategorie), Scoring (etwa für die Bestimmung von Dringlichkeiten) oder binäre Entscheidungen (z.B. ob ein Kunde kündigen möchte). Solche Decision-Modelle können also viele Standard-Aufgaben übernehmen. Spannend ist z.B. auch die Auswahl, welches LLM eine bestimmte Frage am besten beantworten kann. So könnten die Decision-Modelle dazu beitragen, immer den optimalen Kompromiss aus Leistungsfähigkeit und Preise der möglichen Modelle zu finden.

Wie gut die einzelnen Decision-Modelle funktionieren und ob sich damit wirklich eine neue Modellklasse etabliert hat, wird sich in den nächsten Monaten zeigen.

Die Rückkehr der N-Gramme

Vor langer Zeit, als es noch keine großen Sprachmodelle gab, versuchten Computerlinguisten (so nannte man die damals) dem allgegenwärtigen Bag-of-Words-Modell Kontext hinzuzufügen, indem sie neben den einzelnen Wörtern auch Mehrwort-Kombinationen (N-Gramme) verwendeten. Obwohl Sprachmodelle genau diesen Kontext über die verschiedenen Transformer-Layer und die Attention nachbilden, erleben N-Gramme dort ein Revival. Die entsprechenden Gewichte kann man nämlich trainieren und mit ein paar Tricks auch in den Kontext integrieren, was DeepSeek schon vor einer Weile gezeigt hat.

Das Verfahren bietet zwei große Vorteile: Erstens müssen die Modelle weniger Berechnungen durchführen, wenn die Embeddings für die N-Gramme bereits bekannt sind. Daher muss man sie so auswählen, dass besonders häufige Verbindungen von Token darin enthalten sind. Zweitens benötigt man die Embeddings immer nur punktuell, das heißt sie müssen nicht im GPU-RAM liegen, sondern das CPU-RAM (oder gar eine schnelle SSD) reicht aus. DeepSeek spricht in diesem Zusammenhang von einem Geschwindigkeitsverlust von lediglich zwei bis drei Prozent im Vergleich zum GPU-RAM.

Es handelt sich somit um eine günstige Möglichkeit, die Anzahl der Parameter (und damit das gespeicherte Wissen) eines Modells zu erhöhen, ohne deutlich höhere Anforderungen an die GPUs stellen zu müssen. Genauere Informationen finden sich in dem iX-Artikel „Kurz erklärt: Wie N-Gramme funktionieren“.

Das theoretische Konzept klingt überzeugend und einige Anbieter setzen es nun schrittweise um.