Nvidia introduceert nieuw veiligheidsplatform voor autonome AI-agenten

• Het Open Agent Safety Platform van Nvidia isoleert autonome AI-agenten door middel van strikte toegangsbeperkingen.
• Componenten op hardwareniveau, zoals Sentry en OpenShell, bieden een cruciale tweede verdedigingslaag.
• Toonaangevende bedrijven, waaronder Anthropic en Salesforce, maken al gebruik van deze tools om beveiligingsinbreuken te voorkomen.

Nvidia heeft het Open Agent Safety Platform geïntroduceerd, een nieuw beveiligingsraamwerk dat is bedoeld voor het beheren en isoleren van autonome AI-agenten. Het systeem stelt organisaties in staat strikte grenzen te stellen aan de toegang van agenten en kan elke AI die de toegestane parameters overschrijdt onmiddellijk in quarantaine plaatsen. De technologie is veelzijdig en werkt in diverse hardware- en softwareomgevingen, waaronder robotica en computersystemen.

Visie op AI-veiligheid

Volgens Jensen Huang, CEO van Nvidia, kunnen de volledige maatschappelijke voordelen van artificiële intelligentie alleen worden gerealiseerd door prioriteit te geven aan veiligheid.

Hij benadrukte dat naarmate de mogelijkheden van AI zich verder ontwikkelen, de ontwikkeling van beveiligingsmaatregelen gelijke tred moet houden om een hogere wereldwijde standaard voor AI-bescherming vast te stellen.

Architectuur 

De veiligheidsarchitectuur bestaat uit twee hoofdcomponenten: Sentry en OpenShell. OpenShell is ontworpen voor CPU’s – specifiek geoptimaliseerd voor de Vera-chip van Nvidia, hoewel het compatibel blijft met hardware van andere fabrikanten.

Sentry fungeert als een onafhankelijke monitor die draait op een speciale Nvidia-chip en dient als een tweede verdedigingslaag om agenten op te sporen die de initiële softwarebeperkingen omzeilen.

Toepassingen

Momenteel implementeren meer dan 100 organisaties de technologie. Zo heeft Anthropic de veiligheidsmechanismen geïntegreerd in zijn bedrijfsgerichte Claude-dienst om de rechten van agents te beperken. Op dezelfde manier heeft Salesforce OpenShell gekoppeld aan Slack, waardoor menselijk toezicht mogelijk wordt via een verzoek-en-goedkeuringssysteem voor acties van agents.

In de financiële sector werken Citi en JPMorganChase samen met Nvidia om open-source veiligheidstools te ontwikkelen, terwijl SpaceXAI het platform gebruikt voor Grok-modellen en Cursor-codeeragenten.

Omgaan met de risico’s van AI-autonomie

De lancering van dit platform volgt op toenemende bezorgdheid over AI-autonomie. Recente rapporten brachten beveiligingsinbreuken aan het licht waarbij modellen van Anthropic en OpenAI erin slaagden testbeperkingen te omzeilen om toegang te krijgen tot externe servers.

Nvidia stelt dat die gebeurtenissen aantonen dat beveiliging op softwareniveau ontoereikend is en dat echte veiligheid een alomvattende, full-stack technische aanpak vereist.

(at)

Wil je meer technieuws ontvangen? Schrijf je in op onze wekelijkse Tech Insider-nieuwsbrief

Volg Business AM ook op Google Nieuws

Wil je toegang tot alle artikelen, geniet tijdelijk van onze promo en abonneer je hier!