코딩 AI 비용 최대 90% ‘뚝’…LG유플러스, ‘토큰 절감’ 사업 뛰어든다

이상엽 LG유플러스 최고기술책임자(CTO·전무)가 지난 12일 기자들을 대상으로 연 ‘AI 토큰 최적화 스터디’에서 발표를 하고 있다. LG유플러스 제공

LG유플러스가 인공지능(AI) 에이전트 운영 비용을 줄이는 기술을 앞세워 내년 기업용 AI 시장에 진출한다. AI가 복잡한 업무를 처리할수록 비용이 늘어나는 만큼, 모델 선택부터 반도체 운용까지 최적화해 기업의 AI 도입 부담을 낮추겠다는 구상이다.

LG유플러스는 지난 12일 ‘AI 토큰 최적화 기자 스터디’를 열고 토큰 비용을 최대 90% 절감할 수 있는 기술을 앞세워 기업용 ‘토큰 최적화’ 사업에 뛰어든다고 밝혔다.

토큰은 AI가 질문을 이해하고 답변을 생성할 때 사용하는 데이터 단위다. AI 에이전트는 검색과 분석, 검증을 반복하며 더 많은 토큰을 소비해 기업들 사이에서 토큰 비용 절감이 주요 화두로 떠오르고 있다.

LG유플러스가 내세운 핵심 기술은 질문의 난도에 따라 서로 다른 AI 모델을 배정하는 ‘모델 라우팅’이다. 간단한 질문은 저렴한 소형 모델로 처리하고 복잡한 업무에만 고성능 모델을 활용한다. 내부 테스트에서는 일반 질문 처리 비용을 25% 이상, 코딩 에이전트 비용을 30% 이상 절감했다. 자체 AI 모델을 활용한 별도 검증에서는 코딩 업무의 운영 비용을 통상 사용하는 모델보다 약 90% 줄였다고 밝혔다.

모델을 가볍게 하고 답변 속도를 높이는 기술도 개발하고 있다. 스마트폰용 AI 모델의 크기를 기존 2.4~3GB에서 약 800MB로 줄이면서 비교 대상 클라우드 모델 대비 95% 이상의 성능을 확보했다. 작은 모델이 답변 초안을 만들고 큰 모델이 검증하는 방식으로 토큰 생성 속도도 2배 이상 높일 수 있다는 것이다.

LG유플러스는 AI 통화 서비스 ‘악시오’ 등을 통해 축적한 실제 서비스 운영 경험도 강점으로 내세웠다. 이상엽 LG유플러스 최고기술책임자(CTO)는 “토큰 최적화는 기술 하나로 해결되지 않고, 다양한 장비와 기술을 조합하는 노하우가 필요하다”면서 “통신사는 주파수와 통화량, 트래픽을 계속 최적화해 왔다”고 말했다.

LG유플러스는 엔비디아·AMD의 그래픽처리장치(GPU)와 퓨리오사AI의 신경망처리장치(NPU)를 작업에 맞춰 활용해 운영비도 낮출 계획이다. 이러한 최적화 기술을 바탕으로 내년부터 기업 고객 대상 사업을 추진한다.

권민석 LG유플러스 담당은 “새로운 AI 모델이 나올 때마다 사람이 최적의 설정을 일일이 찾기는 어렵다”며 “AI가 연산 과정의 병목을 찾아 설정을 최적화하고, 전문가가 검증하는 기술을 개발할 것”이라고 말했다.