1개 AI가 미해결 수학 다룬 논문 722편 쏟아내…수학계 ‘혼돈’

광고

“지금은 수학 역사상 가장 중요한 순간이다.”(앤트로픽의 수학자 레벤트 알포게)

“만약 사람이 이런 일을 했다면 아무런 이의 제기 없이 즉시 필즈상을 받았을 것이다.”(앨릭스 콘토로비치 럿거스대 수학과장)

최근 급격히 거세진 인공지능(AI)발 소용돌이를 마주한 수학자들의 반응 가운데 일부다. 앤트로픽은 인공지능 업계에서 오픈에이아이의 최대 경쟁업체 가운데 하나이고, 필즈상은 수학계의 노벨상으로 불리는 최고 영예의 상이다.

광고

지난 6일 오픈에이아이가 370개가 넘는 미해결 수학 문제를 다룬 722편의 인공지능 생성 논문을 한꺼번에 공개한 이후 수학계가 큰 충격에 휩싸였다. 그 안엔 찬사와 우려가 동시에 담겨 있다.

이번 공개는 오픈에이아이가 지난달 8일 세계 최대 수학 난제 중 하나로 꼽히는 ‘나비에-스토크스 방정식 해의 존재성과 매끄러움’ 문제를 해결했다고 발표한 지 한달만에 나왔다.

광고

광고

특히 이번에는 특정 문제가 아닌 대수학, 정수론, 이론 컴퓨터 과학, 수리 논리, 위상수학 등 다양한 분야에 걸친 다양한 수학 미해결 문제들에 대한 연구 결과를 무더기로 쏟아냈다는 점에서 충격의 강도가 다르다. 하버드대 이론물리학자 겸 수학자 마이클 더글러스는 과학전문지 ‘사이언티픽 아메리칸’과의 인터뷰에서 “나비에-스토크스 문제를 해결한 것보다 훨씬 더 중요한 순간”이라며 “수학과 수리물리학의 새로운 시대가 시작됐다”고 말했다. 영국 클레이수학연구소 소장인 마틴 브리드슨도 “수학의 최첨단이 하루만에 이렇게까지 발전할 수 있다고는 상상도 할 수 없었을 것”이라며 “숨 막힐 정도로 훌륭하다”고 평가했다.

앤트로픽의 알포게 박사는 소셜미디어 엑스에 올린 글을 통해 다소 복잡한 심경을 드러냈다. “일부 연구자들은 프로젝트가 차질을 빚게 될 것이다. 이는 슬픈 이야기이다. 하지만 오늘은 그 이야기는 잠시 접어둬야 한다. 기술이 수학자들에게 얼마나 빠르게 유용해졌는지를 보여주기 때문이다.”

광고

성능 우선주의에 아이디어 기반 무너질라

수학은 그동안 인공지능이 두드러진 발견을 내놓기 가장 어려운 분야 가운데 하나로 여겨졌다. 그러나 올해 5월 80년만에 ‘에르되시 추측’의 반례를 내놓은 것을 시작으로 굵직한 수학 연구 성과들이 잇따르면서 수학계도 크게 술렁이기 시작했다. 반례란 “모든 백조는 희다”는 주장에 맞서 검은 백조 한 마리를 찾아 보이는 일처럼, 단 하나만 나와도 기존의 추측 전체를 무너뜨리는 결정적 사례를 말한다.

수학계의 노벨상이라 불리는 필즈상 수상자 25명이 지난달 발표한 성명은 수학자들이 느끼는 충격의 강도를 짐작하게 해준다. 이들은 성명에서 수학 문제 해결을 인공지능 성능의 한 지표로 삼으려는 기업들의 움직임이 수학 공동체에 해를 끼치고 아이디어가 자랄 토양을 파괴할 수 있다고 비판했다.

이번에 공개된 논문의 상당수는 클레이수학연구소가 2000년에 선정한 ‘밀레니엄 문제’ 가운데 미해결로 남아 있는 6개 중, 오픈에이아이가 해결을 주장한 나비에-스토크스 방정식을 뺀 5개와 관련된 내용을 다룬다. 해답은 포함되어 있지 않다. 지금까지 7개 문제 중 푸앵카레 추측만 2003년 증명이 완료됐다.

광고

나비에-스토크스 방정식은 커피를 휘저을 때 생기는 소용돌이처럼 물과 공기의 흐름을 기술하는데, 이 방정식이 어떤 조건에서도 끝까지 말이 되는 답을 내놓는지, 아니면 어느 순간 값이 무한대로 튀며 '고장'이 나는지를 증명하라는 문제다. 오픈에이아이는 지난 9월 자사의 아직 공개하지 않은 인공지능 모델이 이를 풀었다고 밝혔지만 학계에서 공식 인정된 것은 아니다.

논문 검증 난항 예고…교육 현장도 혼란

한꺼번에 쏟아진 700여편의 논문을 받아든 수학계의 처지는 하루에 제보 722건을 무더기로 받은 신문사 편집국과 비슷하다. 워낙 많은 논문이 한꺼번에 쏟아졌기 때문에, 이를 검토하고 검증하기 위해선 오랜 시간과 노력이 필요하다. 일부 논문은 분량이 수백쪽에 달하고 복잡한 계산으로 가득 차 있다. 오픈에이아이는 공개 하루만에 부호 오류 등을 이유로 논문 세 편을 철회하기도 했다.

미국 수학회 회장을 역임한 브리나 크라 노스웨스턴대 교수는 논문이 이해하기 어렵게 쓰인 점을 지적했다. 그는 “결과는 놀랍지만 수학계가 이를 완전히 이해하는 데는 오랜 시간이 걸릴 것”이라고 말했다

찬사 못지않게 연구 생태계의 붕괴를 걱정하는 목소리도 크다. 브리드슨 박사는 뉴욕타임스에 “많은 사람들에게는 흥미진진하고, 어떤 사람들에게는 두려운 일이며, 또 어떤 사람들에게는 참담한 일이 될 것”이라고 말했다.

백형렬 카이스트 AI수학대학원장(수리과학과 교수)은 “증명이 맞느냐도 중요하지만, 그것이 우리의 지식이 되는 과정도 그만큼 중요하다”며 “인공지능이 증명을 아무리 쏟아내더라도 수학자 공동체 안에서 살아 숨 쉬는 지식이 되지 못한다면, 그 자체로 수학의 진보라고 하기는 어렵다”고 말했다.

수학계 최고 권위의 필즈상과 아벨상을 모두 수상한 프랑스 수학자 장피에르 세르는 뉴욕타임스에 인공지능을 활용한 수학 연구에 대한 갈등을 토로했다. 그는 “수학자들은 배우는 것과 새로운 것을 발견하는 데서 수학의 즐거움을 느끼는데 인공지능은 첫번째 즐거움은 증가시키지만 두번째 즐거움은 감소시킨다”고 말했다.

세르 박사는 특히 젊은 수학자들에게는 이것이 심각한 문제라고 지적했다. 실제로 충격은 연구실을 넘어 대학 교육 현장으로 번지고 있다. 몬태나주립대 박사과정에 있는 토마스 칼슨은 “이제 수학 분야 학위의 구조, 요건, 가치를 신중하게 고려해야 할 시점에 다다른 것같다”며 “2028년 학위가 2023년 학위와 동일한 가치를 지니도록 하려면 어떻게 해야 하느냐”고 반문했다.

엄상일 기초과학연구원(IBS) 이산수학그룹CI는 “수학은 수학자들이 서로 협력하며 문제에 도전하고, 해결되면 깊이 이해하여 새로운 통찰을 얻고, 이를 일반화·추상화하면서 발전해 왔다”며 “LLM(거대언어모델)이 가장 어려운 부분인 문제 해결을 쉽게 해 준다면, 깊은 이해를 거쳐 새로운 통찰에 이르는 과정이 앞으로도 잘 이루어질지 걱정스럽다”고 말했다.

권력 과시인가, 연구 가속화 도구인가

오픈에이아이의 공개 방식을 비판하는 목소리도 있다. 이지운 카이스트 교수(수리과학)는 “글이 너무 두서없이 작성되어 있고 표기가 이상한 부분이 많다”며 “이에 대한 고려 없이 수백편의 논문을 한꺼번에 공개한 것은 문제가 있는 방식”이라고 말했다. 영국 옥스퍼드대의 수학자 우르술라 마틴은 연구자 검토를 거치지 않은 사전 논문 공개는 “수학계에 엉망인 초안을 던져주고 우리가 그것을 정리해 주기를 기대하는 것과 같다”고 비판했다.

최근 일부 수학자들이 결성한 인간중심수학협회(Association for Human Mathematics)는 성명을 통해 “700개가 넘는 파일을 한꺼번에 공개하는 것은 학문적 성취를 보여주는 것이 아니라 권력을 과시하는 행위”라며 “수학자들은 오픈에이아이와의 협력을 중단하고 인간의 이해를 중심으로 하는 과학에 대한 비전으로 돌아가야 한다”고 촉구했다.

오픈에이아이의 입장은 인공지능은 수학의 새로운 도구일 뿐이라는 점이다. 이 회사 대변인은 국제학술지 네이처에 보낸 이메일에서 “우리의 목표는 수학자와 과학자들에게 유용한 도구를 제공하는 것”이라며 “이를 위해 모든 과학 분야의 난제를 해결하는 모델을 평가하고 개발하고 있다”고 밝혔다.

서인석 서울대 교수(수리과·국가지원연구센터 '수학 난제 해결 인공지능 특화학습 연구센터' 센터장)도 인공지능 활용의 긍정적 역할에 방점을 뒀다. 그는 “이번 발표는 인간이 하고자 한 그 다음 단계를 (압도적인 계산력과 사고력을 바탕으로) 시간을 단축시켜서 인공지능이 진행해 준 것으로 봐야 한다”고 말했다. 그는 “대부분의 수학 연구에서 수학자들이 기댈 수 있었던 것은 오직 본인의 사고력과 시간뿐이었다”며 “인공지능 기술은 이제 수학의 발전 속도를 비약적으로 증가시킬 것”이라고 덧붙였다.

강문진 카이스트 교수(수리과학)는 “수학자의 역할은 인공지능이 제시한 증명을 검증하는 데 그치지 않고 핵심 아이디어를 이해하고 기존 이론과 연결해 새로운 연구로 발전시키는 것”이라고 말했다.

“작업 수행한 에이전트 수, 1만개서 1개로”

이번 공개에서 또 하나 특기할 만한 건 인공지능의 문제 해결 방식이 달라졌다는 점이다. 오픈에이아이 대변인은 사이언티픽 아메리칸과의 인터뷰에서 회사가 아직 공개하지 않은 새로운 모델이 단일 인공지능 에이전트를 이용해 거의 모든 결과를 도출했다고 밝혔다. 이는 거액의 연산 자원(컴퓨팅 파워)을 투입해 1만개의 에이전트가 공동 작업으로 이뤄낸 나비에 -스토크스 문제 해결 방식과는 확연히 다른 점이다.

사이언티픽 아메리칸은 “만약 이 주장이 사실이라면, 전례 없는 수학적 능력이 곧 누구에게나 접근 가능해질 수 있음을 의미한다”고 전했다. 그러나 매사추세츠공대의 앤드류 서덜랜드 교수는 “오픈에이아이가 모델을 공개하고 사람들이 결과를 재현할 수 있을 때까지는 단일 에이전트로 문제를 한 번에 해결했다는 주장은 검증되지 않은 것으로 간주해야 한다”고 말했다.

이번 공개에 앞서 오픈에이아이는 미국 프린스턴 고등연구소의 ‘수학과 인공지능 자문단’에 의견을 구했으며, 자문단의 권고사항을 따라 결과를 공개했다고 밝혔다. 연구소가 9월29일 내놓은 ‘책임 있는 인공지능 생성 수학 결과 공개’라는 제목의 권고사항은 검증 가능성과 투명성을 확보하고, 수학 결과를 홍보 수단으로 삼지 말라는 것 등을 핵심 내용으로 한다. 이 자문단은 고등연구소가 오픈에이아이의 제안을 받아들여 꾸렸지만 운영은 독립적으로 한다. 자문단은 입장문을 통해 “권고사항이 얼마나 잘 이행되었는지 평가하는 것은 수학계의 몫”이라고 밝혔다.