보고, 듣고, 반응하는 가상세계 만든다…빅테크 ‘월드모델’ 각축전

구글이 27일(현지시간) 발표한 월드모델 ‘지니 4’의 시연 화면. 키보드 조작을 통해 가상 공간을 둘러 볼 수 있다. 구글 홈페이지 갈무리

글 몇 줄만 입력하면 눈 덮인 산길이 눈앞에 펼쳐진다. 그 길을 달리다가 날씨를 바꿀 수도 있고, 마주친 사람과 대화를 나눌 수도 있다. 이런 가상세계를 만드는 인공지능(AI) ‘월드모델’이 빅테크의 새 격전지로 떠올랐다.

구글 딥마인드는 27일(현지시간) 월드모델 ‘지니 4’를 공개했다. ‘지니 3’이 눈으로 둘러보는 가상세계에 가까웠다면, 이번에는 소리를 듣고 등장인물과 대화하며 서로 반응하는 수준으로 발전했다.

구글은 게임 개발자가 코드를 짜기 전에 가상공간을 먼저 둘러보고, 영화 제작자가 카메라 구도와 대사를 바꿔가며 장면을 시험해 보는 등 누구나 ‘나만의 가상세계’를 만들 수 있다고 설명했다. 지니 4는 현재 일부 테스터에게만 공개됐으며, 곧 유료 구독자에게도 제공될 예정이다.

월드모델은 공간과 사물의 움직임을 학습해 어떤 행동을 하면 무슨 일이 벌어질지 예측하는 AI다. 지니 4처럼 가상공간을 만드는 모델은 이용자가 방향을 틀거나 물체에 다가가면 그에 맞춰 다음 장면을 새로 만든다. 이런 특성 덕에 현실에서 움직이는 AI인 ‘피지컬 AI’를 먼저 시험해 보는 가상 실험장으로도 주목받고 있다.

월드모델 선도기업인 엔비디아는 로봇과 자율주행차를 위한 ‘AI 가상훈련장’ 구축에 속도를 내고 있다. 초기 ‘코스모스’가 훈련용 가상 영상을 만드는 데 주력했다면, 지난 21일(현지시간)에는 가상세계에서 로봇과 자율주행차의 대응 능력까지 시험할 수 있도록 학습·검증 도구를 강화했다. 위험한 상황을 가상에서 반복 검증해 현장 시험의 시간과 비용을 줄이겠다는 취지다.

AMD도 지난달 ‘AI 대모’ 페이페이 리가 이끄는 월드랩스를 약 82억달러(약 11조원)에 인수하기로 하며 본격적으로 경쟁에 뛰어들었다. 월드랩스는 글이나 사진으로 돌아다닐 수 있는 3차원 가상공간을 만드는 AI 기업이다. AMD는 이 AI가 가상세계를 실시간으로 만들 때 필요한 계산을 파악해 이를 빠르게 처리할 반도체를 개발한다는 구상이다.

국내 주요 IT기업들도 월드모델을 미래 먹거리로 점찍고 개발에 속도를 내고 있다. 크래프톤은 지난 8일 서울대와 손잡고 가상공간과 사물의 일관성을 유지하는 월드모델 기술을 3년간 공동 연구하기로 했다. 게임·3D 콘텐츠용 AI를 개발해 온 NC AI도 지난달 정부 과제에 선정돼 조선·반도체 공장의 상황을 예측하는 월드모델과 로봇 제어 기술 개발에 나섰다.

다만 넘어야 할 벽도 적지 않다. 지니 4가 한 번에 이어갈 수 있는 체험 시간은 수 분 안팎에 그치고, 시간이 지나면 사물의 모양이나 위치가 달라지는 등 일관성을 유지하는 데 어려움을 겪고 있다. 무게나 마찰 같은 물리 현상을 정확히 재현하지 못하면, 가상에서 훈련을 마친 로봇이 현실에서 오작동할 수 있다는 점도 난관이다. 스탠퍼드대 인간중심AI연구소도 안전이 중요한 분야에서 월드모델의 신뢰성을 평가할 검증 기준이 부족하다고 지적했다.

딥마인드는 이날 발표에서 “로봇이 다양한 상황을 훈련할 수 있는 무한한 가상 놀이터도 열릴 것”이라면서도 “복잡한 물리현상의 정확한 재현과 장시간 일관성 유지는 여전히 연구 과제”라고 밝혔다