'독자 인공지능(AI) 파운데이션 모델(이하 독파모)' 프로젝트의 2차 단계평가에서 생존할 3개 정예팀 선정이 눈앞으로 다가왔다. 12일 국민평가단 평가를 끝으로 2차 평가 일정이 마무리되고 조만간 결과가 발표될 예정이다.
경쟁 중인 4개 정예팀(SK텔레콤·LG AI연구원·업스테이지·모티프테크놀로지스)은 AI 모델의 자체 성능을 끌어올리는데 그치지 않고 산업 현장 적용과 일반 이용자 접근성 향상에 주안점을 둬왔다.
하지만 전체 배점 구조를 보면 여전히 AI 모델의 성능을 평가하는 벤치마크 비중이 가장 크다. 여기에 벤치마크 점수가 외부 요소에 의해 좌우될 수 있다는 우려도 커지면서 독파모 프로젝트 취지가 훼손될 수 있다는 지적이 나온다.
'사용성' 핵심이라지만…점수는 벤치마크
과학기술정보통신부에 따르면 독파모 2차 평가의 배점은 벤치마크 평가 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성된다. 1차 평가와 동일한 배점 구성이다. 벤치마크 내에선 '아티피셜 애널리시스 인텔리전스 인덱스(AAII)' 등 해외 평가지표가 25점, 한국지능정보사회진흥원(NIA) 평가가 15점을 차지한다.
1차 평가 당시의 경우 AI 모델의 성능과 독자성이 핵심이었던 것과 달리 2차 평가에서는 성능 개선뿐 아니라 사용성과 확장성이 생존을 가를 핵심 요인으로 꼽혀왔다. 글로벌 빅테크의 AI 모델이 빠르게 발전하고, 에이전트 AI 확산으로 AI 모델을 활용하는 이용자도 급증하고 있기 때문이다.
이에 맞춰 정예팀들도 2차 평가에는 모델의 사용성과 확장성을 어필하는데 집중했다. SK텔레콤은 국방부와 제조업체 실증사례를 제시했고, LG AI연구원은 행정안전부 안전신문고를 비롯해 산업별 특화 파운데이션 모델을 공개했다. 업스테이지도 일반 이용자들과의 접점을 늘리기 위해 포털 '다음'과 에이전트 AI 플랫폼 '타임리'를 인수해 이를 적극 활용하고 있다. ▷관련기사: 더 묵직해진 독파모, 4파전에서 3파전으로(8월4일), '1팀 탈락' 독파모 2차 평가, 생존 가를 요인은(8월5일)
과기정통부 역시 2차 평가에 국민평가단을 도입해 일반 이용자들이 정예팀들의 AI 모델을 직접 사용해보고 평가토록 했다. 하지만 이러한 방침에도 불구하고 실제 배점 구성은 여전히 모델 성능 평가(벤치마크) 쪽에 무게중심이 쏠려있는 실정이다.
'벤치맥싱' 확산…독파모 취지 훼손 우려
벤치마크 비중에 대한 우려가 커지는 배경에는 최근 확산하는 '벤치맥싱' 현상이 있다. 벤치맥싱은 벤치마크에서 높은 점수를 받는 데 최적화해 모델을 튜닝하는 행위를 뜻한다. 이를 전문으로 대행해주는 외부 업체가 등장하며 논란이 커지고 있다.
대표적으로 애프터쿼리와 스케일AI 등 미국 AI학습 전문기업들이 국내 영업을 본격화하고 있다. 이들은 고객사 모델의 취약점을 진단한 뒤 이를 겨냥한 사후학습 데이터를 맞춤 제작·판매하는 방식으로 벤치마크 점수를 높여준다.
실제로 애프터쿼리는 엔비디아 오픈소스 모델 '네모트론3 울트라' 학습에 자사 데이터가 활용돼 실무수행 능력 평가 지표(GDPval) 점수가 이전보다 10점 이상 상승(35.3점→46.7점)했다고 소개하기도 한다.
국내 AI업계 한 관계자는 "벤치마크 점수가 높다고 해서 이용자들이 모델을 활용할 때 실제 체감 성능까지 담보하지는 않는다"라고 지적했다.
벤치맥싱에 대한 논란은 독파모 프로젝트 취지를 훼손할 수 있다는 우려로 연결된다. 독파모는 외부 모델에 대한 기술 의존을 벗어나 우리만의 기술로 AI 주권을 확보하기 위해 시작됐다. 하지만 국내 AI 모델 벤치마크 점수가 해외 기업의 도움으로 다듬어진 것이라면 '기술 독자성' 확보라는 명분에 물음표가 붙을 수 있다. 평가 배점에서 벤치마크 점수가 가장 높다는 점도 걱정을 키우는 요인이다.
결국 2차 평가 결과 발표 후 탈락 원인이 모델의 순수한 성능(벤치마크) 때문인지 아니면 서비스의 사용성과 확장성 때문인지를 두고 잡음이 발생할 가능성을 배제할 수 없는 상황이다.
AI 업계 관계자는 "산업 실증과 서비스 적용 사례가 상대적으로 부족한 팀이 벤치마크 점수를 기반으로 생존한다면 독파모 취지와 다른 결과가 될 수 있다"며 "국민평가단 점수가 어떻게 반영되는지 명확하지 않은 상황에서 실제 사용성과 확장성이 얼마나 중요한 평가 요인으로 작용했는지 결과를 두고볼 수밖에 없다"고 말했다.
