모티프, 성능평가 1위인데 ‘국대 AI 탈락’…“평가 상세 점수 공개” 요구

구글 선호 매체 등록

광고

독자 인공지능(AI) 파운데이션 모델 사업 2차 평가에서 떨어진 모티프테크놀로지스(모티프)가 정부에 업체별 세부 평가 점수와 기준 공개 등을 요구하며 이의를 제기했다. 글로벌 인공지능 성능 평가 ‘인텔리전스 인덱스’(AAII)에서 4개 정예팀 가운데 1위를 했는데도 전문가 평가에서 최하점을 받는 등 탈락 이유를 납득하기 어렵다는 것이 이 업체 주장이다.

모티프는 27일 입장문을 내어 “독자 AI 파운데이션 모델 사업(독파모) 2차 단계 선정 결과와 관련해 오늘 정식으로 이의 제기를 신청했다”며 “평가 점수의 상세한 공개와 재심의를 정중히 요청드린다”고 밝혔다.

모티프는 입장문에서 △4개 정예팀의 평가 항목별 상세 점수 및 평가 내용 △글로벌 벤치마크 평가를 25점 만점으로 배정한 근거 △전문가 평가 상세 기준 및 항목별 평가 내용 △사용자 평가 방법론과 블라인드 평가 적용 여부 등을 공개할 것을 과학기술정보통신부에 요구했다.

광고

앞서 모티프가 독파모 2차 평가에 제출한 ‘모티프3’ 모델은 글로벌 인공지능 모델 평가기관 아티피셜 애널리시스(AA)가 운영하는 ‘인텔리전스 인덱스’ 벤치마크에서 47점을 얻어 업스테이지(37점), SK텔레콤(35점), LG AI연구원(31점)보다 높은 점수를 기록했다. 그러나 지난 18일 발표된 종합평가에서 전문가와 사용자 평가 등에 경쟁사에 밀려 고배를 마셨다.

모티프는 “벤치마크는 컴퓨터공학 산업과 학계 전반에서 중요한 평가 방법론으로 활용되고 있지만 이번 평가의 배점 산정 방식은 최고점과 최저점 간의 차이를 상당 부분 축소하는 방식으로 계산됐다”며 “(AAII 점수가 가장 낮은 LG AI연구원의 경우) 전문가 평가에서 낮은 모델 성능에도 불구하고 높은 파급효과와 기여 가능성을 인정한 것이라면 그 판단의 근거 역시 충분히 설명될 필요가 있다”고 주장했다.

광고

광고

이들은 벤치마크 점수를 최종 배점으로 환산하는 방식에도 문제를 제기했다. 인텔리전스 인덱스 원점수에서 모티프3는 47점, LG AI연구원 모델은 31점으로 16점 차이가 났지만, 이를 25점 만점의 최종 배점으로 환산하면 점수 차이가 4점으로 줄어든다는 것이다.

모티프는 “이러한 이의 제기는 우리가 독파모에 선정돼야 한다는 주장을 위한 것이 아니다”라며 “독파모가 무엇을 위한 것인지 합의를 이끌어내고 저희와 다른 경쟁업체들이 모두 동의하고 개선할 방향을 찾아가는 과정이 되기를 바란다”고 덧붙였다.