To może zgubić niejedną firmę. "Zagrożenie rośnie"

Jacob Coxon o samodoskonalącej się sztucznej inteligencji

Źródło wideo: CNN

Źródło zdj. gł.: Shutterstock

- Każda firma, która wdraża czatbota opartego na sztucznej inteligencji, powinna brać pod uwagę ryzyko ataku "Prompt Injection", czyli nakłonienia systemu do wykonania dodatkowej, niepożądanej instrukcji - ostrzega Szurek.

Chodzi zwłaszcza o czatboty wykorzystywane w wewnętrznej komunikacji firm, ale także w kontaktach z klientami na zewnątrz.

Jak tłumaczył ekspert, atakujący może wprowadzić w polu tekstowym czatbota specjalnie sformułowaną komendę (tzw. prompta), która może nakłonić system AI do zignorowania wcześniej określonych systemowych zasad i wykonania nowego polecenia.

- Zagrożenie rośnie, gdy czatbot ma dostęp do firmowych plików, poczty, kalendarza lub innych wrażliwych zasobów - zaznaczył Szurek. W takich przypadkach atakujący może spróbować skłonić czatbot np. do usunięcia plików lub ujawnienia danych objętych tajemnicą przedsiębiorstwa - wyjaśnił.

Prywatne narzędzia AI i aplikacje

Zwrócił też uwagę na problem używania w miejscu pracy prywatnych i darmowych narzędzi AI. Jego zdaniem firmy nie powinny zakładać, że pracownicy z takich rozwiązań nie korzystają, lecz zapewnić im bezpieczne narzędzia firmowe.

Ekspert wskazał też na ryzyka związane z samodzielnym tworzeniem aplikacji wykorzystujących AI przez pracowników.

- Sztuczna inteligencja pozwala osobom bez doświadczenia programistycznego szybko budować proste aplikacje i łączyć je z firmowymi zasobami. Zabezpieczenie takiej aplikacji wymaga już jednak większej wiedzy - podkreślił ekspert.

Jako przykład podał formularz stworzony przez pracownika, pozwalający umawiać spotkania z klientami, połączony z kalendarzem i pocztą służbową. Atakujący mógłby próbować przekazać takiemu systemowi instrukcję nakazującą np. utworzenie 100 nowych spotkań lub usunięcie już istniejących, co może prowadzić do paraliżu firmy i strat finansowych.

Jak zabezpieczyć firmowe narzędzia AI

Zdaniem Szurka przy wdrażaniu narzędzi AI w firmie ważne jest zabezpieczenie ich na wielu poziomach.

- Nie wystarczy stworzenie prostego promptu systemowego z zakazem łamania zasad. Trzeba zacząć od szkolenia zarządu i pracowników na temat zagrożeń - podkreślił.

Jego zdaniem ważne jest też zarządzanie dostępami do zasobów firmy.

- Czatbot powinien przekazywać pracownikowi wyłącznie te informacje, do których dana osoba ma bezpośrednie uprawnienia. Przykładowo: marketingowiec nie powinien móc za pośrednictwem firmowego narzędzia AI uzyskiwać wglądu do dokumentów księgowych - wskazał Szurek.