Physiker finden Formel: Wann lokale KI-Modelle plötzlich gefährlich werden

Die Nutzung von Sprachmodellen direkt auf Endgeräten wie Smartphones oder Tablets nimmt branchenübergreifend zu. Da diese sogenannten Edge-KI-Modelle lokal und ohne Cloud-Anbindung arbeiten, fehlen ihnen herkömmliche nachgeschaltete Sicherheitsfilter, sogenannte Guardrails.

Das birgt Risiken für Anwender, die auf Offline-Modelle angewiesen sind, etwa im medizinischen, juristischen oder militärischen Sektor. Zwei Physiker der US-amerikanischen George Washington University wollen solche Risiken nun mit einer mathematischen Formel besser abschätzen.

In einer im Wissenschaftsmagazin Patterns veröffentlichten Studie präsentieren Neil F. Johnson und Frank Yingjie Huo eine Gleichung, die berechnen soll, wann ein Sprachmodell von einer angemessenen Antwort zu einer potenziell schädlichen Ausgabe kippen kann.

Edge-KI und das Problem der fehlenden Cloud-Sicherheitsfilter

Ein Teil heutiger KI-Schutzmechanismen greift erst während der Nutzung: etwa durch cloudbasierte Filter, Monitoring oder nachträgliche Sicherheitsupdates. Bei reiner Offline-Nutzung stehen solche externen Guardrails nicht zur Verfügung, sodass eine fehlerhafte oder gefährliche Ausgabe ungefiltert auf dem Bildschirm der Nutzer erscheinen kann.

Besonders problematisch ist dies bei Fachpersonal, das aus Datenschutzgründen etwa keine Patientendaten oder Mandanteninformationen in die Cloud senden darf. Ohne laufende externe Überwachung fehlt in solchen Anwendungsbereichen ein zusätzliches Sicherheitsnetz, das riskante Antwortverläufe erkennen oder nachträglich abfangen könnte.

Die beiden Wissenschaftler wählten für ihre Untersuchung einen Ansatz, der komplexe neuronale Netze rechnerisch auf einen sogenannten „effektiven Attention Head“ reduziert. Diese Komponente moderner Sprachmodelle berechnet, wie stark einzelne Textbausteine im Kontext zueinander in Beziehung stehen. Sie steuert, auf welche Informationen die KI bei der Verarbeitung ihre „Aufmerksamkeit“ richtet. Auf die Datenverarbeitung dieses Bausteins wandten die Forscher anschließend ihre Analysemethoden an.

Der Attention Head als physikalisches Modell

„Wir haben den Riss gefunden, der die Ausgabe einer KI von dem, was man will, zu dem, was man nicht will, umkippen lässt“, wird Autor Neil F. Johnson in einer begleitenden Pressemitteilung auf Eurekalert zitiert. Den Physikern zufolge verhält sich die Mechanik der KI-Modelle dabei ähnlich wie komplexe Festkörper, deren Verhalten sich oft durch die Beobachtung eines einzelnen Atoms erklären lässt.

Innerhalb des Modells fließen die verarbeiteten Informationen durch den sogenannten Residual Stream. Dieser zentrale Datenkanal reicht die Eingaben im neuronalen Netz von Schicht zu Schicht weiter.

Auf diesem Weg stehen bei jeder Abfrage verschiedene Antwortmöglichkeiten in ständiger Konkurrenz zueinander. Die Forscher betrachten die zugrundeliegenden mathematischen Werte (Vektoren) für wünschenswerte und unerwünschte Ausgaben als Täler in einer Topografie.

Ein KI-Modell kann zu einer schädlichen Antwort wechseln, wenn der jeweilige Gesprächskontext den unerwünschten Antwortbereich stärker begünstigt als den erwünschten. Die von Johnson und Huo entwickelte Formel beschreibt diese Konkurrenz und soll abschätzen, wann die Schwelle zur unerwünschten Ausgabe überschritten wird.

Die Gefahr des verzögerten Kipppunkts

Die Untersuchung zeigt, dass sich der problematische Umschlag bei der Textgenerierung nicht zwingend schon beim ersten Token ereignen muss. Ein Modell kann zunächst eine lange Reihe inhaltlich unproblematischer Antworten liefern, bevor es unbemerkt in den problematischen Bereich abrutscht.

Dieses Verhalten täuscht eine falsche Sicherheit vor. Dabei geht es den Forschern zufolge nicht um mangelnde Qualität oder einen schwindenden Wahrheitsgehalt der Aussagen. Eine schädliche Antwort kann faktisch völlig korrekt, aber hochgradig gefährlich sein – beispielsweise eine Anleitung für den Bau einer Waffe. Die Berechnungen der Physiker zeigen, dass erst die Reihenfolge der vorherigen Eingaben das Verhalten des Attention Heads maßgeblich in diese Richtung steuert.

Jede Information im vorherigen Gesprächsverlauf verschiebt die Vektorgewichtung und zieht die nächste Ausgabe näher an das unerwünschte Tal heran. Sobald das System einmal gekippt ist, kann jede nachfolgende schädliche Antwort die KI weiter in eine Abwärtsspirale ziehen.

Erfolgreiche Tests an Open-Weight-Modellen

Um die theoretische Formel in der Praxis zu validieren, testeten Johnson und Huo ihre Vorhersagen an sieben verschiedenen Open-Weight-Modellen. Diese Modelle aus drei unabhängigen Technologiegruppen wiesen Größenordnungen zwischen 124 Millionen und 12 Milliarden Parametern auf.

Die mathematische Vorhersage traf in den Tests der Forscher überraschend oft zu. In 18 von 19 untersuchten Fällen erkannte die Formel korrekt, ob ein Modell sofort oder erst verzögert oder – im Untersuchungszeitraum – gar nicht in einen problematischen Antwortverlauf kippt.

Der Ansatz lässt sich laut Studie auf verschiedene Risikobereiche übertragen, etwa medizinische Desinformation, Aufrufe zur Selbstverletzung oder problematische juristische Ratschläge. Ob die Formel in all diesen Feldern gleich zuverlässig funktioniert, müssen allerdings weitere Tests zeigen.

Schwächen bei der Semantik und Ausblick auf Warnsysteme

Eine technische Schwäche gibt es bei der Methode noch: verneinte Sätze. Hier stoßen die Berechnungen an ihre Grenzen. Das System bewertet dann einzelne Wörter zu stark und übersieht, dass ein simples „nicht“ oder „kein“ die Bedeutung des gesamten Satzes umkehrt.

Hinzu kommt eine praktische Hürde: Bevor die Methode im Alltag funktioniert, müssen Entwickler für jeden Anwendungsfall erst einmal mathematisch definieren, was genau als gute und was als schlechte Antwort gilt. Nicht nur diese erforderliche Vorarbeit dürfte verhindern, dass die Technik schon morgen flächendeckend auf unseren Geräten landet. Die Autoren betonen ausdrücklich, dass eine größere Studie mit vorab festgelegten Kriterien, neuen Prompts und weiteren Modellen nötig sei, um die Formel als quantitative Risikoanzeige zu kalibrieren.

Trotzdem liefert die Formel perspektivisch einen wichtigen Baustein für die KI-Sicherheit. Sie könnte künftig als eine Art integrierte Warnleuchte für lokale Sprachmodelle etwa auf Smartphones dienen, die rechtzeitig vor Entgleisungen warnt. Und das ganz ohne aufwendige Datenabgleiche in der Cloud.

Ein Hinweis zum Schluss: Die anschaulichen Gesprächsbeispiele der Studie basieren auf GPT-2 Base mit 124 Millionen Parametern. Das Modell dient als Forschungsproxy für ressourcenbeschränkte Geräte, soll laut den Autoren aber nicht das Sicherheitsverhalten moderner, auf Anweisungen und Sicherheitsvorgaben nachtrainierter KI-Assistenten abbilden.