Nvidia will KI-Agenten per Hardware überwachen

Nvidia will Unternehmen mehr Kontrolle über autonome KI-Agenten geben und dafür Sicherheitsmechanismen direkt in die Hardware seiner KI-Systeme integrieren. Auf der GTC in Berlin präsentierte der Konzern seine Open Agent Safety Platform rund um die Laufzeitumgebung OpenShell mit neuen Leistungsversprechen und zusätzlichen Industriepartnern.

Spezielle BlueField-4-DPUs sollen die Aktivitäten von KI-Agenten unabhängig von den verwendeten Sprachmodellen überwachen und unerlaubte Aktionen innerhalb von Millisekunden unterbinden. Gleichzeitig kündigt Nvidia weitere offene KI-Modelle und Software an, mit der Agenten auf Unternehmensdaten zugreifen und selbstständig Vorhersagen treffen.

Fußfesseln für Agenten

Mit OpenShell hatte Nvidia bereits eine quelloffene Laufzeitumgebung vorgestellt, die KI-Agenten in abgeschotteten Umgebungen ausführt. Sie soll verhindern, dass ein Agent beliebig auf Dateien, Netzwerkdienste oder Programme zugreift. Solche Sicherheitsgrenzen sind nötig, weil autonome Agenten nicht nur Texte erzeugen, sondern eigenständig Werkzeuge aufrufen und Änderungen an IT-Systemen vornehmen können.

Die Open Agent Safety Platform erweitert dieses Konzept um hardwaregestützte Kontrollen. Auf der GTC hat Nvidia dazu eine Referenzarchitektur für OpenShell vorgestellt. Nvidia sieht dafür eine Arbeitsteilung vor: Vera-Rubin-Systeme berechnen die KI-Modelle, Vera-CPUs betreiben die Agenten und ihre Werkzeuge. BlueField-4-DPUs übernehmen mit der Sicherheitssoftware Sentry die unabhängige Überwachung und Durchsetzung der Zugriffsregeln.

Nvidia verspricht, dass Sentry Agenten innerhalb von Millisekunden isolieren und stoppen kann, wenn sie vorgegebene Sicherheitsgrenzen überschreiten. Da die Kontrollen außerhalb der eigentlichen Sandbox laufen, sollen die Agenten sie weder verändern noch umgehen können. Die OpenShell-Software ist quelloffen und unterstützt auch Agenten-Frameworks anderer Anbieter, darunter Claude Code von Anthropic und Codex von OpenAI.

Sicherheitstrakt für die KI

Nvidia ergänzt damit die Sicherheitsmechanismen der KI-Modelle um Kontrollen in der Infrastruktur. Bisher versuchen die Anbieter vor allem, unerwünschte Antworten durch Alignment zu verhindern. Dazu werden die Modelle nachträglich so trainiert, dass sie bestimmte Anfragen verweigern. Diese Beschränkungen lassen sich bei frei verfügbaren Modellen teilweise durch sogenannte Abliteration wieder entfernen, bei der gezielt interne Repräsentationen verändert werden.

OpenShell verfolgt einen anderen Ansatz. Statt die Antworten des Modells zu beschränken, kontrolliert die Laufzeitumgebung, auf welche Dateien, Programme und Netzwerkdienste ein Agent zugreifen darf. Administratoren können darüber festlegen, welche Modellserver und Inferenz-Endpunkte ein Agent überhaupt erreichen kann. Das System kann somit unbefugte Zugriffe unterbinden, aber nicht kontrollieren, was ein KI-Modell bei befugten Zugriffen alles anstellt: ob es ungewollt Daten manipuliert, Backdoors einbaut oder anderweitig die Sicherheit kompromittiert.

Mit OpenShell lassen sich bestimmte Modelle vom Betrieb ausschließen, ohne ihre Gewichte oder ihr Alignment zu verändern. Entscheidend ist dann nicht mehr allein, wer die KI-Modelle entwickelt und ihre inhaltlichen Grenzen festlegt, sondern auch, wer ihre Laufzeitumgebung und deren Zugriffsregeln kontrolliert.

Auswertung von Unternehmensdaten

Mit der neuen Agent Knowledge Foundation will Nvidia die Agenten enger mit den Informationsbeständen ihrer Unternehmen verbinden. Die Software soll sowohl strukturierte Daten aus Datenbanken als auch unstrukturierte Informationen aus Dokumenten erschließen, ohne dass die Unternehmen dafür ihre Datenbestände in Nvidias Cloud übertragen müssen.

Eine neue Auto-Ontology-Bibliothek soll Beziehungen zwischen Geschäftsdaten erkennen und etwa Kunden, Produkte oder Bestellungen miteinander verknüpfen. Dafür kombiniert Nvidia bestehende CUDA-X-Bibliotheken mit seinen Nemotron-Retriever-Modellen und der neuen Modellfamilie Kumo. Sie basiert auf der Technik des Start-ups Kumo AI, das Nvidia laut Medienberichten im Juni übernommen hat.

Kumo ist auf Vorhersagen aus strukturierten Daten spezialisiert. Nvidia bietet dafür mehrere vortrainierte Modelle an, darunter Kumo Tabular, Relational, Time Series, Forecast und Anomaly. Sie sollen etwa Umsatzentwicklungen prognostizieren, Anomalien erkennen oder betriebliche Risiken bewerten. Bisher erfordern solche Anwendungen häufig speziell entwickelte Machine-Learning-Verfahren für einzelne Datensätze. Nvidia will diesen Aufwand durch vortrainierte Modelle für unterschiedliche Datentypen verringern.

Zu den Partnern gehören Databricks und Snowflake. Auch Palantir arbeitet mit Nvidia zusammen: Dessen Software wertet innerhalb von Nvidias eigener Lieferkettenorganisation Geschäftsdaten aus und bereitet Entscheidungen vor,

Alles aus einer Hand

Daneben erweitert Nvidia sein Angebot frei verfügbarer KI-Modelle. Nemotron 3.5 Super VL verarbeitet Text- und Bildinformationen. Ebenfalls schon verfügbar ist Nemotron 3.5 Bolt 74B-A9B, die kompakte Variante Bolt E4B ist für den 23. Oktober angekündigt. Hinzu kommen neue Retriever-Modelle für die Suche in Unternehmensdokumenten. Mit Cosmos, Alpamayo und BioNeMo stellt Nvidia zudem Spezialmodelle für Robotik, autonomes Fahren und die Proteinforschung bereit.

Der Konzern betont, dass Unternehmen die Modelle mit eigenen Daten anpassen und auf selbst kontrollierter Infrastruktur einsetzen können. Zumindest Kumo Tabular wird als Open Weight angeboten. Damit können Entwickler die veröffentlichten Modellgewichte verwenden und gegebenenfalls verändern. Bei Nemotron stellt Nvidia teilweise zusätzlich Datensätze und Trainingsrezepte bereit.

Nvidia bietet damit einerseits mehr Freiheiten beim Einsatz und bei der Anpassung von KI-Modellen, etabliert andererseits aber seine eigene Plattform für deren Betrieb, Datenzugriff und Absicherung.

Mit der Verbindung von Unternehmensdaten, KI-Modellen und Agentenlaufzeit dringt Nvidia zugleich tiefer in die Geschäftsprozesse seiner Kunden vor. Die Daten können zwar im Unternehmen verbleiben, doch die Werkzeuge für Hard- und Software liefert Nvidia.

Wohin die Reise gehen soll, zeigte Jensen Huang am Ende seiner Keynote im Berliner Tempodrom: Nvidia wolle mit seinen Partnern digitale Zwillinge aller erdenklichen Produktionsprozesse schaffen. Bald werde jedes Unternehmen ein KI-Unternehmen sein, am Ende stehe ein digitaler Zwilling der gesamten Erde. Während Elon Musk also für die Flucht zum Mars rüstet, arbeitet Huang schon an einer digitalen Kopie unseres Planeten. Falls die neue KI-Industrialisierung das Klima endgültig ruiniert, wäre wenigstens ein Backup vorhanden.