네이버클라우드는 '하이퍼클로바X' 추론모델인 '하이퍼클로바X 씨드 14B 씽크(HyperCLOVA X SEED 14B Think)'를 무료 오픈소스로 공개했다고 22일 밝혔다. 이 모델은 네이버가 기존 모델 구조나 학습 데이터를 토대로 하지 않고 직접 설계해 개발했다.
하이퍼클로바X 씨드 14B 씽크는 네이버가 지난달 공개한 '하이퍼클로바X 씽크(HyperCLOVA X THINK)'를 안정적이고 효율적으로 서비스에 접목할 수 있게 경량화한 모델이다. 중요도가 낮은 파라미터를 가지치기하되 원본 모델이 가진 지식을 최대한 보존시키고 가지치기 과정에서 손실이 생긴 큰 모델의 지식을 작은 모델에 전이하는 방식으로 학습 비용을 크게 낮춘 게 특징이다.
특히 140억개 파라미터 규모의 모델임에도 5억개 파라미터로 구성된 글로벌 오픈소스 모델보다 더 적은 비용(GPU Hours)으로 학습했다. 동일 크기 글로벌 오픈소스 모델과 비교하면 1회 학습 비용은 약 100분의 1 수준이다.
그러면서도 한국어·한국문화와 코딩·수학 관련 성능을 측정하는 평가에서는 동일 크기(140억) 또는 상대적으로 큰 규모(320억) 모델과 유사하거나 높은 평균 점수를 기록해, 비용·규모 대비 뛰어난 성능을 갖춘 AI 모델을 구축할 수 있는 자체 기술력을 입증했다는 게 네이버클라우드 측의 설명이다.
성낙호 네이버클라우드 하이퍼스케일 AI 기술 총괄은 "독자적 기술로 생성형 AI 모델을 꾸준히 업그레이드하면서 구축한 고성능 플래그십 모델과 수많은 실험과 개선을 통해 설계한 효율적인 학습 전략으로 동일 규모에서 비용·성능 등이 더 효과적인 추론모델을 구축할 수 있었다"고 설명했다.
