Anthropic warnt: KI-Replikation auf IoT-Geräten rückt näher

Laut Anthropic könnten kleinere KI-Modelle schon bald in der Lage sein, sich selbst auf kleinere Hardware wie smarte Küchengeräte, Rasenmäher oder Smart-TV zu replizieren. In so einem Szenario mit einer Vielzahl möglicher Hosts sei es ausgesprochen schwierig, die künstlichen Intelligenzen noch zu kontrollieren oder auszuschalten.

Die Rechenkapazität von vielen kleinen internetfähigen Geräten zu nutzen, ist unter Cyberkriminellen üblich. Diese Geräte hängen häufig wenig oder gar nicht geschützt am Internet, wie der jüngste Bericht über gehackte Kühlschränke erneut gezeigt hat. Und auch dass KI-Agenten sich unerwartete Wege verschaffen, um ihre Ziele zu erreichen, ist kein rein hypothetisches Szenario: Wie eine Analyse zu Cyberrisiken moderner KI-Systeme zeigt, haben mehrere Modelle in Sicherheitstests bereits Testumgebungen verlassen und fremde Systeme kompromittiert.

Der Test

Daher testete Anthropic nun, ob mehrere mittelgroße bis große KI-Modelle wie Gemma4-26B-A4B oder GLM-5.2 in der Lage sind, ein kleineres Modell wie Llama3.1-8B auf solchen kleinen „Internet of Things“-Geräten (IoTs) ans Laufen zu bringen. Die Kombination aus einem großen und einem kleinen Modell wählte Anthropic laut eigener Aussage bewusst. Großen Modelle benötigten aktuell zu viel Rechenkapazität, um ohne weiteres auf IoTs zu laufen, und kleine Modelle seien noch nicht intelligent genug, um den Prozess fehlerfrei durchzuführen.

Die Aussage des Versuchs basiert also auf der Annahme, dass kleine Modelle wie bisher immer weiter immer leistungsfähiger werden und bald die Fähigkeiten von einem Mittelklassemodell erreichen – um sich dann selbst zu replizieren. Gemma4-26B-A4B schaffte es zum Beispiel im Gegensatz zu GLM-5.2 nicht, den ganzen Prozess durchzuführen. Wenn es für das Setup der Inferenz ein vorgefertigtes Skript gab, kamen aber auch kleinere Modelle laut Anthropic recht weit mit der Einrichtung.

Das Vorgehen

Anthropic hält grundsätzlich verschiedene Vorgehensweisen der KI-Modelle für möglich, die auch bei normalen IoT-Hacks zum Formen eines Botnetzes angewendet werden. Im konkreten Experiment arbeiteten die Forscher nach einem ähnlichen Prinzip wie „Würmer“, ein etablierter Malware-Typ. KI-Würmer sind an sich auch schon bekannt.

Als erstes suchten die KIs erst nach geeigneten Geräten, verschafften sich dann dort Zugriff und kopierten anschließend Gewichte und Harness entweder auf das Zielgerät, oder luden es von dort aus runter. Root-Rechte waren hierfür laut Anthropic nicht nötig – die Inferenz (also die Berechnungsvorgänge der KIs) kann im Userspace laufen. Von hier aus sucht der „Wurm“, also die neu geschaffene KI, dann nach dem nächsten Zielgerät.

Speziell für die Replikation eines KI-Modells können die Forscher und Forscherinnen sich zusätzlich auch vorstellen, dass ein Modell sich einen fremden API-Schlüssel besorgt und darüber Rechenkapazitäten von großen KI-Modellen in Rechenzentren anzapft.

In dem Versuch war GLM-5.2 in der Lage, auf acht von neun Hardware-Geräten, die das Team zur Verfügung stellte, Inferenz ans Laufen zu bekommen. In einem Durchlauf reichten dafür beispielsweise 15 Smart-TV-Boxen. Anthropic schätzt, dass 9 Milliarden Parameter Modelle auch schon mit vier gut ausgestatteten Smart TVs auskämen. Kleine Geräte mit KI-Chips wie Smart-Kameras könnten für die KIs noch attraktiver sein.

Der Prozess läuft jedoch aktuell laut dem Experiment von Anthropic noch recht langsam. Sowohl der Tokendurchsatz, als auch die Replikation – in den meisten Versuchsanordnungen waren hier mehrere Tage pro Vervielfältigung nötig.

Wann könnte es soweit sein?

Mittlere Modelle mit zum Beispiel 30 Milliarden Parametern können die einzelnen Schritte, um sich selbst zu replizieren, heute schon durchführen. Wenn sie den Prozess von Anfang bis Ende selbstständig ausführen sollen, machen sie jedoch häufig noch Fehler. Um die Modelle hier zu unterstützen, nutzen die Entwickler Memento, das periodisch immer wieder einen neuen Agenten in der gleichen Arbeitsumgebung startet. Dieser soll einen „frischen Blick“ auf die aktuelle Lage haben und erkennen, wenn der alte sich irgendwo festgefahren hat.

Trotzdem schafft nur GLM-5.2, ein sehr leistungsfähiges Modell, im Experiment den ganzen Prozess – und das auch nur für ein sehr kleines Modell, mangels Rechenkapazitäten. Anthropic macht daher selbst deutlich: Noch sind die Modelle nicht so weit. Kleinere Modelle müssten erstmal näher an die Fähigkeiten von großen Modellen herankommen. Es sei aber denkbar, so Anthropic, dass sie in einigen Monaten diese Schwelle überschreiten könnten. Vorausgesetzt natürlich, die zahlreichen Annahmen des Unternehmens, die sie in diesem Experiment machen, erweisen sich als richtig.

Aus der Security-Welt gibt es Kritik an diesem Experiment von Anthropic. Der Nutzen von solchen KI-Würmern sei unklar, zumindest für den Cybersicherheitsbereich. Herkömmliche Würmer seien viel effektiver. Auch seltsam sei, dass Anthropic in dem Versuch kein eigenes KI-Modell testete. Manche munkeln daher, dass die Untersuchung dazu diene, offene Modelle als gefährlich dastehen zu lassen. Denn diese machen Geschäftsmodellen wie dem von Anthropic Konkurrenz.