‘개방형 AI’ 두 얼굴…한번 풀면 회수 불가, 안전장치도 허술

국내 금융권 해킹에 쓰인 오픈소스 인공지능(AI) 도구의 개발자가 공개를 중단했지만 복사본은 여전히 유통되고 있는 것으로 나타났다. 누구나 가져다 고쳐 쓸 수 있는 개방형 AI의 경우, 한번 풀린 기술은 악용돼도 막기 어려워 사용의 편의성 못지않게 안전성 역시 중요하게 확보해야 한다는 지적이 나온다.

11일 업계에 따르면 중국산 AI 에이전트 ‘아르텍스’(ARTEX) 개발자는 지난 8일 프로젝트를 비공개로 전환했다. 미국 보안업체 크라우드스트라이크가 아르텍스를 최근 발생한 국내 금융권 해킹 도구로 지목한 지 하루 만이다.

아르텍스는 원래 보안 취약점을 점검하라고 공개된 오픈소스 프로그램이지만 공격자는 여기에 딥시크 등 AI 모델을 온라인으로 연결해 해킹을 자동화한 것으로 알려졌다.

하지만 깃허브에는 공개가 중단되기 전 아르텍스 코드를 복사하거나 개조한 저장소들이 지금도 남아 있다. 프로젝트를 비공개로 돌려도 이미 내려받은 프로그램을 쓰거나 다른 곳에 다시 올리는 것까지 막을 수는 없기 때문이다.

이렇게 한번 공개하면 회수하기 어려운 AI 모델이 빠르게 늘고 있다.

세계 최대 AI 모델 공유 플랫폼 허깅페이스에 따르면 공개 모델 저장소에 올라온 모델은 이날 기준 314만개로 1년 전(213만개)보다 48% 늘었다. 원본 모델은 물론 이를 가볍게 줄이거나 특정 분야에 맞춘 파생 모델까지 합한 수치다.

확산을 이끄는 것은 딥시크와 알리바바 큐원처럼 AI의 학습 결과물인 가중치를 공개한 ‘오픈웨이트’ 모델이다. 기업은 이를 자체 서버에서 돌릴 수 있어 데이터를 외부로 내보내지 않아도 되고 사용료 부담 없이 업무에 맞게 고쳐 쓸 수 있다.

문제는 내려받은 모델이 어디에 쓰이는지 개발사도 알기 어렵다는 점이다. 지난 2월 나온 ‘국제 AI 안전 보고서’도 공격자가 오픈웨이트 모델을 인터넷 연결 없이 사용하면 개발사의 감시를 피할 수 있다고 지적했다.

폐쇄형 AI는 악용 징후가 포착되면 개발사가 계정을 막을 수 있지만, 오픈웨이트 모델은 이용자가 안전장치를 제거하더라도 이를 알아채기가 어렵다.

안전장치 자체도 쉽게 무력화된다. 미국 카네기멜런대 등 연구진이 지난 5월 발표한 논문에 따르면 안전장치를 강화한 오픈웨이트 모델도 간단한 기법으로 공격하자 유해 요청에 응하는 비율이 10% 미만에서 최대 96%로 치솟았다. 실제로 허깅페이스에는 안전장치 ‘제거’(abliterated) 태그가 붙은 저장소가 1만1600여개 올라와 있다.

이처럼 공개 이후에는 개발사의 통제가 어려워 일부 AI 기업은 모델을 자유롭게 내려받을 수 있도록 하기 전에 악용 위험을 점검하고 있다. 프랑스 AI 기업 미스트랄은 신형 모델을 우선 자사 서버를 통해 제공하고 보안 전문가 등의 시험을 거쳐 오는 27일 가중치를 공개할 계획이다.

임종인 고려대 정보보호대학원 교수는 “중국 AI 개발사들은 악용에 대한 경각심이 상대적으로 크지 않고, 실제 AI 모델도 너무 쉽게 안전장치를 우회할 수 있게 설계된 게 사실”이라고 했다. 국내 AI업계 관계자는 “출시 전 안전장치를 마련한다고 하지만 실제로 어떤 검증을 했는지 외부에서 확인할 방법이 없다”며 “아직은 기업이나 국가의 선의에 맡기는 부분이 많다”고 했다.