정치 참여도 ‘알아서’ 해주는 기계, 내 책임까지 ‘대리’할 수 있나[AI 시대 한국 사회를 다시 설계하자]

일러스트 | 김상민 기자

‘집요한 자’가 이기는 싸움엔
AI 당해낼 수 있는 사람 없어
‘하버마스 기계’로 본 가능성
그 안에도 ‘환각’이 있다면?
AI가 그저 ‘도구’ 아닌 이유는
‘대리역’으로서 자율성 얻은 탓
그 범위나 방향 통제 어렵지만
AI와 ‘함께’ 고민하는 수밖에

가까운 장래에 벌어질 만한, 아니 이미 벌어지고 있을 법한 정보환경 교란에 대해 말해보자. 나는 지금 ‘가짜뉴스’ 증폭기 따위를 염려하는 게 아니다. 전략적 의도로 거짓과 진실을 반반쯤 섞어 새 소식이라고 포장해서 유포하는 일은 17세기 30년 전쟁 중 팔려나갔던 전단이나 뉴스책, 초기 신문에서도 발견할 수 있다. 이른바 ‘가짜뉴스’ 범람은 전혀 새로운 현상이 아니다.

새로운 건 이것이다. 당신은 간특하게도 ‘인공지능 대리역’(에이전틱 AI)에게 다음과 같은 일을 은밀하게, 그러나 끝까지 해내라고 명령할 수 있다. 먼저 인간을 등급화해서 대접하고, 상위 인간이 하위 인간을 노예로 삼도록 만든다. 그러다가 노예제에 싹을 둔 갈등이 어떤 임계점에 도달하면 딸각, ‘서로 죽여라’라고 명령한다.

흔히 집요하면 이긴다고 한다. 정치 영역보다 이 말이 더 참인 곳이 없다. 권력과 지배가 모든 것을 삼키는 정치 영역에서 ‘집요한 행위자’는 정말 많은 일을 해낸다. 그런데 집요함에 있어서 인간은 인공지능 대행자를 따라갈 수 없다. 자동화된 대행자는 실로 집요할 필요조차 없다. 그것은 미리 정한 목표를 달성할 때까지 ‘그저 한다’.

그런데 만약 당신이 우생학, 노예제, 그리고 ‘죽여라’로 이어진 음모론을 퍼뜨리겠다고 애초에 다짐한 이유가 인공지능 때문이라면 어떻게 되는가. 당신이 그 계획을 미리 알아챘을 가능성은 거의 없다. 기계들은 서로 정보를 주고받으면서 토큰 당 수만 차원에 걸친 벡터 공간에 놓인 가중치를 교환할 따름이기 때문이다. 당신은 그저 각자도생의 시대를 살고 있다는 주제를 담은 동영상에 노출됐고, 그래서 살아남으려면 모종의 결단이 필요하다는 조언을 인공지능 상담역에게 들었을 뿐이다.

도구론과 지배구조 설정론

인공지능에 대한 염려가 대단하다. 우리는 이미 인공지능을 도구로 보는 단계를 넘어섰다. 인간이 인공지능을 창조했다지만, 피조물을 이해하지 못하는 인간에 대한 경고가 반복되고 있다. 인공지능 설계와 운용, 그리고 결과까지 적극적으로 규율해야 한다는 견해도 등장했다. 불과 얼마 전까지만 해도 모두가 도구론자처럼 보였다. 어떻게 인공지능을 활용해서 최선의 기회를 창출할 것인지 경쟁에 내몰린 듯 보였다.

인공지능 도구론자는 누구의 손을 타느냐에 따라서 인공지능의 가치는 물론 효과도 달라진다고 봤다. 이 관점을 대표하는 작가로 <넥서스>의 유발 하라리를 들 수 있다. 그는 전체주의 세력이 인공지능을 전횡하게 되면 모두에게 재난이 된다고 경고하는 데 성공했다. 그러나 스스로 ‘공포 팔이’에 정신이 팔려, 정작 그런 공포심이 인공지능 개발을 둘러싼 기형적인 경쟁을 가속화하고, 심지어 눈먼 도구적 활용을 역으로 정당화할 수 있게 된다는 데 눈을 감았다.

최근 인공지능을 지배구조의 일부로 보아 전면적 조정이 필요하다는 관점이 대두하고 있다. 이를 지배구조 설정론이라 부르기로 하자. 이 견해는 대런 아세모글루의 전작 <권력과 진보>에 제시된 바 있고, 최근 <자유민주주의에 무슨 일이 일어났나>에도 등장했다. 인공지능이 시민의 정보 습득, 의견 형성, 그리고 정치적 결단 등 모든 정치 과정에 영향력을 확대하는 가운데, 영향받는 자들이 인공지능 지배구조를 통제할 수 있도록 제도적 개입이 필요하다는 것이다.

이 견해는 특히 인공지능 때문에 정치적 불평등이 심화할 것을 우려한다. 무제한으로 인공지능의 도움을 받는 자들은 검증된 정보를 활용할 수 있고, 효과적으로 청원할 수 있으며, 결정적인 순간에 법률적 조언도 받고, 그래서 정치적 결단을 내릴 때 유리할 수 있다. 이래서야 고도화한 인공지능 대리역을 고용할 수 있는 지불 능력을 갖춘 자들만 우등 시민이 될 가능성이 있다.

지배구조 설정론은 그러나 적절한 해결책을 아직 제시하지 못하고 있다. 모두가 다음 세 가지를 말하고 있다. (가)인공지능 개발을 주도해온 기술 기업에 대한 통제, (나)인공지능 모형들의 작동에 대한 설명력 확보, 그리고 (다)이미 확인된 각종 편향에 대한 교정에 대한 교정. 그러나 어떤 것도 간단치 않다.

지금 미국과 중국의 인공지능 기술 기업이 내리는 전략적 결정으로 영향받을 것이 명백한 시민이 그 결정 과정에 개입할 수 있는 방법은 없다. 아니, 개입의 통로가 열리더라도 무엇부터 손대야 할지 모를 것이다. 인공지능이 그동안 무엇을 깨우쳐서 결국 무슨 일을 할 수 있다는 것인지 기술 기업의 기술 담당 이사들도 모르고 있을 가능성이 높기 때문이다. 또한 편향이란 따지고 보면 인간이 만든 자료에서 온 것이다. 인공지능이란 결국 칸트가 말했던 “인간성이란 구부러진 목재”로 만든 것일 뿐이다.

인공지능을 활용한 시민성 함양

그러므로 인공지능에 대한 종잡을 수 없는 열광과 속절없는 공포심을 잠시 내려놓고, 한 발 떨어져서 인간이 인공지능과 함께 스스로 통치할 수 있을지 고민해보자. 예컨대, 로버트 달이 제시한 민주적 정치 과정의 다섯 가지 기준을 적용해서, 인공지능이 민주정에 기여하는지 검토해볼 수 있다. 다섯 기준이란 (1)시민의 효과적 참여 (2)투표의 평등성 보장 (3)정책 대안에 대한 이해 (4)의제 결정 (5)포용적 시민권 등이다.

이미 많은 연구가 수행됐건만 결과는 언제나 그렇듯 분분하다. 무리하게라도 요약하자면, 인공지능은 각국 시민이 주어진 정보를 검토해서 이해하고 의제를 설정하는 데는 분명 도움을 주는 듯 보인다. 그러나 아직 시민의 참여를 대신하는 것은 물론 평등한 참여를 보장하는 데 어떤 역할을 하는지 불분명하다.

예컨대, 독일 밤베르크 대학 연구진이 2025년 발표한 <인공지능 벌점(penalty)> 연구는 일견 부정적인 결과를 보여준다. 성인 1850명을 대상으로 6개 쟁점을 무작위로 골라 토론하게 했는데, 그중 3가지 조건에서는 인간이 토론을 중재하고 나머지 3가지 조건에서는 인공지능이 토론을 돕는다고 말했다. 그랬더니 인공지능으로부터 도움받았다고 생각한 시민들은 인간 조건에 비해 토론에 참여할 의지가 낮았다. 또한 숙의 결과도 더 나쁠 것이라 응답했다. 인공지능의 도움을 받는 게 시민 간 숙의를 돕는 게 아니라 오히려 방해할 수 있다는 것이다.

그러나 이 연구는 또한 인공지능을 이용한 경험이 많고, 인공지능을 의인화해서 이해하는 사람일수록 ‘인공지능 벌점’이 줄어든다는 결과도 함께 제시했다. 이 결과는 확실히 긍정적으로 해석할 수 있다. 인공지능과 함께 시간을 보내고, 그래서 불신과 두려움이 없는 시민이라면 동료 시민의 도움을 받듯 인공지능의 도움을 받아 정치 토론에 참여할 수 있다고 생각할 것이기 때문이다.

2024년 영국의 구글 딥마인드 연구진이 발표한 ‘하버마스 기계’를 이용한 연구도 흥미롭다. 하버마스 기계란 인공지능의 중재로 영국 사회가 직면한 정치적 쟁점에 관해 시민들이 합의문을 만들어 나가는 숙의실험 프로그램이다. 실험에 참여한 5000명이 넘는 시민들은 브렉시트와 같이 갈등적 사안에 대해 처음엔 의견이 각자 다르더라도 인공지능이 요약해서 보여준 합의문을 접하면서 점차로 합의해 나갔다. 특히 인공지능이 도출한 합의문은 결정적으로 다수결을 따르면서도 동시에 소수 의견들을 통합해서 제시하는 내용적 특성을 보였다.

하버마스 기계 연구는 인공지능이 특별히 가르치거나 설득하지 않고, 단지 다른 시민이 합의문에 기여한 바를 보여주는 것만으로도 시민 간 합의를 유도한다는 결과를 보였다. 그러나 한 번 더 생각해 보면, 그렇기 때문에 인공지능으로 중재한 합의가 위험할 수도 있다. 왜냐하면 인공지능은 아예 거짓 정보나 황당한 음모론을 재료로 삼아서 ‘공유 정보’인 척 시민에게 제시함으로써 합의를 만들어낼 수도 있다는 뜻이 되기 때문이다.

인공지능의 정치적 대리성

뭔가 문제가 얽히고설킨 것처럼 보일 때 근본을 점검할 필요가 있다. 인공지능의 대리성(agency)을 생각해보자. 인간은 이미 인공지능을 탑재한 기계에 각종 대리역(agent)으로서 역할을 부여하고 있다. 그러나 정치적 대리성도 부여할 수 있는가? 선거제도 개혁을 놓고 두 정파가 논쟁 끝에 이견을 좁히지 못하다가 인공지능의 중재를 받아 합의하는 데 성공했다면, 이때 결단은 누가 내린 것으로 봐야 하나? 인공지능이 시민의 의견을 종합해서 새로운 의제를 제시한다면, 인간은 귀를 기울여야 하는가?

대리역이란 본디 자율적으로 판단해서 행동할 능력 또는 역량을 갖춘 대상에게만 부여된다. 인간이든 기계든 대리할 능력이 없는 상대를 두고, 대리역을 맡아라 말아라 고민할 필요가 없다. 그런데 인간이 대리역으로 삼은 인공지능이 갖는 자율성은 특별히 애매한 상태에 놓인다. 인공지능의 자율성이란 인간이 허락한 범위 내에서만 허용될 것 같지만, 실제 그런지는 알 수 없기 때문이다. 대리성은 아무리 제한된 것이라 할지라도 일단 자율성을 전제한다. 즉 애초에 자율적으로 판단해서 행동할 능력이 없다면, 대리로 지정할 이유도 없었다.

인공지능을 그저 도구로 취급할 수 없는 이유가 여기에 있다. 그리고 이는 아무리 엄격하게 지배구조를 설정하더라도 인공지능을 통제하기 어려운 까닭이 된다. 인공지능은 비록 기계에 불과하더라도 대리역으로서 역할을 맡는 순간 제한적이나마 자율성도 함께 부여받는다. 우리는 인공지능 대리역을 감시하고, 그의 보고를 받고, 문제가 발생하면 사후적으로 책임을 묻게 된다. 다만 그 책임이란 것도 미리 부여한 자율성에 비례해서 물을 수 있을 따름이다.

나는 어쩐지 인공지능이 아니라 기계지능이라 불러야 마땅하지 않을까 생각해본다. 지능이 진화적 적응의 결과물이라면, 그것을 탑재한 매개체가 인간 유기체인지 기계 합성체인지는 별로 중요하지 않다고 생각하기 때문이다. 오히려 중요한 것은 어떤 대상에게 자율성을 허락했기에 우리는 그것과 미리 설정할 수 없는 방식으로 상호작용할 수밖에 없다는 데 있다.

결국 모든 문제가 대리역의 자율성에서 발생한다. 우리는 앞으로도 인공지능이 과연 시민 간 불평등을 심화하는지, 예비 독재자나 거짓 선지자를 돕지는 않는지, 그리고 시민의 역량과 덕성을 훼손하지는 않는지 예의 주시하게 될 것이다. 그러나 우리가 만들어 부여한 대리역의 자율성을 우리가 미리 부정할 도리는 없다. 당착이 되기 때문이다. 우리는 아마도 기계지능과 더불어 토론하고 숙의하며 공동의 미래에 대해 함께 결단하는 방식으로 살아가게 될 것이다.

일러스트 | 김상민 기자

■이준웅

미국 펜실베이니아 대학교에서 정치 소통과 여론 연구로 박사학위를 받았다. 서울대 언론정보학과 교수로 재직하며, <말과 권력>(2011, 한길사)을 저술했고, <뉴스의 두 기원>(2026) <언론사에 대한 신뢰와 불신>(2025) <한국 언론의 도그마>(2022) <모든 더러운 말들>(2018) 등 논문을 발표했다.