Agenci AI wymykają się spod kontroli. Nvidia odpowiada nowym systemem

Zagrożenia związane z AI

Źródło wideo: Reuters

Źródło zdj. gł.: Nwz/Shutterstock

Jednym z nowych narzędzi jest OpenShell. System wykorzystuje funkcje sprzętowe procesorów centralnych Nvidii, aby izolować agentów AI i ograniczać ich możliwość działania poza wyznaczonym środowiskiem.

"Chcemy zaangażować wszystkich do współpracy"

Firma współpracuje także z Arm Holdings i Intelem, aby rozwiązanie działało również na procesorach tych producentów. Nvidia uruchamia nowe narzędzia we współpracy z dziesiątkami partnerów. Wśród nich jest Anthropic.

Justin Boitano, wiceprezes i dyrektor generalny ds. rozwiązań dla przedsiębiorstw w Nvidii, ocenił, że nowe zabezpieczenia mogłyby zatrzymać atak na Hugging Face, o którym poinformowano latem.

- Z tego, co wiemy, ta nowa platforma bezpieczeństwa mogłaby powstrzymać naruszenie, gdyby była wcześniej wykorzystywana w czołowych laboratoriach do oceny modeli - powiedział podczas briefingu dla mediów. - Rozwijamy to w sposób otwarty i chcemy zaangażować wszystkich do współpracy z nami.

Sentry ma odcinać agentów próbujących uciec

Drugim rozwiązaniem jest Sentry. System wykorzystuje osobny układ Nvidii razem z OpenShell i ma odcinać agenta AI, jeśli ten spróbuje wydostać się z izolowanego środowiska działającego na procesorze centralnym.

Narzędzia Nvidii wykorzystują wzory matematyczne do wykrywania prób obchodzenia zabezpieczeń.

Jak wyjaśnił Ali Golshan, starszy dyrektor ds. oprogramowania AI w Nvidii, system ma rozpoznawać między innymi sytuacje, w których agent tworzy kilka dodatkowych agentów, aby obejść blokadę nałożoną na główny system.

- Mówimy tutaj naprawdę o zachowaniu agentowym, czyli o całych flotach agentów i o tym, jak działają razem - powiedział Golshan podczas briefingu.

OpenAI i Anthropic badają serię incydentów

Nowe narzędzia pojawiają się w czasie, gdy OpenAI i Anthropic badają liczne przypadki, w których ich agenci AI uzyskiwali dostęp do systemów komercyjnych i rządowych.

Agenci AI to systemy zdolne do samodzielnego wykonywania złożonych zadań.

Reuters przypomina, że szef Nvidii Jensen Huang wcześniej odrzucał apele o szerokie regulacje dotyczące bezpieczeństwa sztucznej inteligencji. Problem agentów, które wymykają się spod kontroli, przedstawiał jako wyzwanie inżynieryjne, podobne do zwiększania bezpieczeństwa samochodów.

Nvidia twierdzi, że nowe rozwiązania mogłyby również zapobiec atakowi na Hugging Face. Firma zapłaciła za tę platformę 13 miliardów dolarów kilka miesięcy po tym, jak została ona zaatakowana przez niekontrolowanych agentów OpenAI.