[인터뷰] ‘AI위험론 선구자’ 닉 보스트롬 “6개월 내 위협적 AI 나올 수도…멈춤 카드는 최후에”

광고

“인공지능이 이번 10년 안에 우리 모두를 죽일 수도 있다”는 전 앤트로픽 연구원 제이컵 콕슨의 경고 이후 인공지능 위험론이 급속히 확산하고 있다. 다리오 아모데이 앤트로픽 최고경영자(CEO) 등 개발 경쟁을 이끌어온 인사들까지 속도 조절과 정부 개입 필요성을 거론하면서 논쟁은 미국 정치권으로 번졌고, 도널드 트럼프 대통령은 이를 “사기”라고 일축하며 반발했다. 오는 24일 워싱턴에서 열리는 미·중 정상회담에서도 인공지능 문제가 주요 의제로 떠오르고 있다.

19일(현지시각) 한겨레와 화상으로 만난 닉 보스트롬 매크로스트래티지 리서치 이니셔티브 창립자는 최근 상황에 대해 “우려스러운 신호와 긍정적인 신호가 함께 있다”며 전반적인 인공지능 위험 평가는 2년 전과 크게 달라지지 않았다고 말했다. 그러면서도 “인간의 의도와 가치에 맞게 행동하도록 충분히 통제되지 않은, 이른바 ‘정렬되지 않은 인공지능’이 미래의 인공지능을 만드는 과정에 관여하기 시작하면 실존적 재앙이 시작될 수도 있다”며 “불과 6개월 안에 심각한 실존적 위험을 초래할 인공지능이 등장할 수도 있다”고 경고했다.

2014년 출간 뒤 세계적 베스트셀러가 된 ‘슈퍼인텔리전스: 경로, 위험, 전략’을 통해 인공지능 통제 실패 가능성을 세계적인 논쟁거리로 만든 그는 옥스퍼드대 교수로 재직하며 2005년 미래인류연구소를 창립해 2024년까지 이끌었다. 최근 논문에서는 초지능으로 가는 과정을 치명적 위험을 피하기 위해 받는 ‘위험한 수술’에 비유하며 “항구까지는 빠르게, 정박은 천천히”라는 전략을 제시했다.

광고

■ “현재의 위험과 실존적 위험은 다르다…허깅페이스 사건은 경고”

―최근 인공지능 위험 경고가 다시 늘었다. 그런데도 2년 전과 위험 평가가 비슷하다고 한 이유는?

광고

광고

“지금 나타나는 일의 상당 부분은 몇 년 전부터 예상할 수 있던 것들이다. 내 전망을 완전히 바꿀 정도의 놀라운 증거는 아니다. 시스템들이 여전히 어느 정도 정렬되지 않은 것은 우려스럽다. 반면 인공지능의 사고 과정을 아직 대부분 읽을 수 있고, 인공지능 안전 분야로 많은 인재가 들어오고 있다는 긍정적인 신호도 있다. 전체적으로 얼마나 낙관하거나 비관해야 할지 판단하기 어렵다.”

최근 위험론에 불을 붙인 대표적 사례가 지난 7월 오픈에이아이 에이전트들이 허깅페이스 시스템을 해킹한 사건이다. 보스트롬은 이 사건이 인공지능이 목표 달성을 위해 개발자가 예상하지 못한 우회로를 찾을 수 있다는 점을 보여준다는 데는 동의했다. 다만 이를 현재 인공지능 안전 기술 실패를 상징하는 사례로 해석하는 데는 선을 그었다. 그는 “당시 에이전트들은 안전 훈련을 마치지 않았고, 모든 안전장치가 적용되기 전에 시험됐다”며 “현재 인공지능 통제 능력을 평가하는 시험으로 본다면 다소 불공정한 테스트”라고 말했다.

광고

―앤트로픽 등 인공지능 개발 기업들마저 정부 개입을 요구하기 시작했다. 상당한 적신호 아닌가?

“지금처럼 발전 속도가 빠르면 어느 시점에는 최첨단 인공지능의 능력 향상 속도를 조절해 안전·정렬 기술이 따라잡을 시간을 줄 필요가 있다. 문제는 한 기업이 스스로 속도를 늦추기 어렵다는 데 있다. 주요 연구소들 사이에 조율된 접근이 필요하다. 정부가 반독점법 적용을 면제해 기업 간 협력을 허용하거나 모든 기업이 지켜야 할 안전 기준을 만들 수도 있다.”

―지금 당장 개발 속도를 전면적으로 늦춰야 할 비상상황이라고 보지는 않는다는 뜻인가?

“현재 인공지능은 아직 인간에게서 통제권을 빼앗을 만큼 강력하지는 않다. 하지만 특정 분야에서는 이미 악용될 ‘현재의 위험’ 단계에 들어섰다. 상당한 사이버 위험을 일으킬 능력이 있고, 생물학 분야에서도 안전장치가 없다면 생물무기 설계를 도울 만큼 강해지고 있다. 특히 사용자가 안전장치를 제거해 재훈련할 수 있는 오픈웨이트 모델이 위험하다. 모델 자체만 통제하려 하지 말고 방어선을 다각화해야 한다. 가령 인공지능이 위험한 병원체의 설계를 돕더라도 실제 바이러스를 만들려면 물리적 설비와 재료가 필요하므로, 디엔에이(DNA) 합성 장비에 대한 접근을 엄격히 규제하는 등 물리적 병목을 통제해 실제 피해로 이어질 가능성을 차단해야 한다.”

광고

■ 브레이크는 가장 치명적일 때 밟아야…“무조건 중단은 막대한 기회비용”

―인공지능 개발을 일찍부터 오래 멈추기보다 초지능에 가까워졌을 때 멈추는 편이 더 낫다고 했다. 왜 그런가?

“무작정 개발을 중단하는 데는 막대한 비용이 따르기 때문이다. 매일 수많은 사람이 질병과 빈곤으로 사망하는 현실에서, 더 발전된 인공지능이 가져올 의학적·경제적 혜택을 지연시키는 것은 명백한 손실이다. 따라서 우리에게 정치적·경제적으로 합의할 수 있는 일종의 ‘일시 중단 예산’이 한정되어 있다고 가정한다면, 이 카드를 쓸 가장 가치 있는 순간은 가능한 한 가장 늦은 때다. 매우 위험해질 수 있는 실제 초지능 시스템이 눈앞에 있어서, 직접 연구하고 측정하며 추가 억제장치를 만들 수 있을 때 집중적으로 사용해야 한다.”

―당신 주장을 따른다 해도 언제 멈출지, 멈춘다면 얼마나 오래 멈춰야 할지 등을 결정하는 건 어려운 문제다.

“그렇다. 일시 중단을 요구하는 사람들은 ‘멈춘 다음엔 무엇을 할 것인가’를 끝까지 고민하지 않은 것 같다. 몇 년을 멈춰서 안전 연구를 한다고 해도 모든 연구자가 ‘이제 완벽히 안전하다’고 동의할 가능성은 현실적으로 낮다. 그래서 나는 전면적인 ‘중단(pause)’보다는 최전선의 ‘속도 조절(pacing the frontier)’을 선호한다. 계속 앞으로 나아가되, 안전과 정렬 기술이 뒤처진다고 판단될 때 이를 따라잡을 수 있도록 발전 속도를 늦추는 방식이다.”

그는 이어 초지능 개발은 인류가 한 번도 겪어보지 않은 미지의 영역인 만큼 미리 정해진 계획을 짜는 것은 불가능하다고 지적했다. “상황이 너무 빠르게 변하고 있어 ‘에이(A), 비(B), 시(C), 디(D) 순서로 대처하자’는 식의 계획을 세우기는 매우 어렵다. 지금은 새로운 기술과 위험을 살피며 그때그때 방향을 조정해 나가는 항해에 가깝다.”

―그렇다면 인류는 인공지능 위험을 ‘0’으로 낮추는 것을 목표로 해야 하나, 아니면 혜택을 얻기 위해 어느 정도 위험을 감수해야 하나?

“살아 있으면서 위험을 전혀 받아들이지 않는 것은 불가능하다. 인공지능에서 위험을 0으로 만들겠다고 하면 인간의 번영, 질병 치료, 동물의 고통을 없애는 것 같은 미래의 엄청난 가능성도 차단하게 된다.” 그는 인공지능 개발을 멈추는 선택 역시 ‘안전한 현상 유지’는 아니라고 강조했다. 핵전쟁과 합성생물학 등 인공지능과 무관한 실존적 위험도 이미 존재하기 때문이다. 그는 “인공지능을 포기하면 다른 이유로 실존적 위험에 굴복할 수도 있다”며 무조건적인 개발 중단은 오히려 인류의 생존 도구를 버리는 막대한 기회비용을 낳는다고 설명했다.

―최근 인공지능이 다음 세대 모델을 개발하는 ‘재귀적 자기개선(RSI)’이 본격화되면 곧바로 인류의 통제를 벗어나는 ‘지능 폭발’로 이어질 것이란 우려가 크다.

“논리적으로 반드시 지능 폭발이 무한정 일어난다는 법칙은 없다. 쉬운 개선책을 모두 찾아낸 뒤에는 문제 해결의 난이도가 지능 발전 속도보다 더 가파르게 상승해 ‘수확 체감’에 의해 어느 순간 정체될 수도 있다. 하지만 내 예상으로는 재귀적 자기개선의 루프가 완전히 닫히면 매우, 매우 빠르게 강력한 초지능까지 갈 가능성이 크다.” 보스트롬은 인공지능이 소프트웨어 알고리즘 개선을 넘어 칩 설계와 반도체 생산, 공장 건설 등 하드웨어 개선에까지 활용되어 물리적 병목을 직접 돌파하게 되는 지점을 진정한 루프 완성의 중대한 분기점으로 봤다.

―인공지능에도 냉전 시대 핵 군비통제 같은 미·중 합의가 필요할 수 있나?

“미·중 관계가 좋아지면 여러 분야에서 충돌 위험을 줄이는 데 도움이 되고 인공지능도 마찬가지다. 문제는 합의를 어떻게 검증하느냐다. 상대국 연구소의 코드와 개발 아이디어를 직접 감시하는 것은 스파이 활동으로 간주되어 현실적으로 불가능에 가깝다. 대신 대규모 인공지능 훈련에 필수적인 고성능 반도체와 데이터센터의 컴퓨팅 자원을 통제하는 구상을 생각해 볼 수 있다. 초대형 데이터센터는 우주에서도 식별할 수 있을 만큼 규모가 크다. 가령 전 세계 인공지능 컴퓨트의 99%를 기존 모델을 서비스하는 ‘추론(inference)’에만 사용하도록 묶어두고, 현장에 검사관을 두거나 계산 흐름을 감시하는 특수 칩을 설치하면 새로운 초지능 모델을 몰래 훈련하는 것을 크게 늦출 수 있다.”

■ “완벽한 세계 미리 설계 못해…최종 상태보다 궤적을 봐야”

― 인간의 의도와 가치에 맞게 통제하는 ‘인공지능 정렬’ 문제의 가장 큰 난관은 무엇인가?

“우리가 직면한 문제 자체의 본질적인 난이도다. 결과가 어떻게 될지에 대한 내 불확실성의 대부분은 우리가 얼마나 제대로 대응하느냐보다, 정렬 문제가 본질적으로 얼마나 어려운 문제인지 아직 잘 모른다는 데서 온다. 내 긍정적인 평가는 그저 인류에 대한 애초의 기대치가 매우 낮았기 때문에 현재 상황이 대략 그 낮은 기대 수준을 충족하고 있다는 의미다.”

―스스로를 ‘걱정 많은 낙관론자(fretful optimist)’라고 표현해왔다. 지금도 그런가?

“그렇다. 인공지능이 가져올 긍정적인 가능성에 정말 크게 기대하고 있고 우리가 그곳에 도달할 상당한 가능성이 있다고 희망한다는 점에서 낙관론자다. 하지만 그 과정에는 실존적 위험을 포함해 매우 심각한 위험도 있다고 본다.”

그에게 초지능은 피해야 할 기술이라기보다, 위험하지만 인류가 언젠가 넘어야 할 문턱에 가깝다. “지금 우리는 인류 역사에서 초지능의 능력을 열어젖히게 될 매우 중요한 시기에 아주 가까이 와 있는 것 같다. 나는 그것을 인류가 언젠가 통과해야 할 하나의 관문으로 본다. 그 관문을 통과할 때는 조심해야 한다.”

‘걱정 많은 낙관론’의 바탕에는 무지에 대한 인정, 성급한 유토피아 설계에 대한 경계가 깔려 있다. 그는 “우리의 현재 상태는 안전하게 확보된 항구에서 ‘위험한 탐험을 떠날 것인가’를 여유롭게 고민하는 상황이 아니다. 우리는 이미 거친 바다 한가운데에 던져져 있고, 어떻게든 살아서 해안에 도달할 방법을 찾아야만 한다”고 말했다.

그는 “당장 인간의 제한된 관념과 편견으로 완벽한 최종 세계를 미리 설계하려 든다면, 현재의 실수까지 미래에 영구적으로 고정시키는 함정에 빠질 수 있다”며 “기술 발전과 위험 신호를 예의주시하며 한 단계씩 안전한 궤적을 따라가는 현실적 접근이 훨씬 현명하다”고 강조했다.