크래프톤은 음성 인공지능(AI) 파운데이션 모델 'A.X K2 라온-스피치(Raon-Speech, 이하 라온-스피치)'를 글로벌 AI 플랫폼 허깅페이스에 공개했다고 29일 밝혔다.
라온-스피치는 SK텔레콤의 소형 언어모델 'A.X K2'에 크래프톤이 자체 개발한 음성 인코더와 코덱을 적용해 음성을 이해하고 생성할 수 있도록 학습한 모델이다. 지난 4월 공개한 음성 언어 모델의 학습방식을 바탕으로 기술을 한 단계 발전시켰다.
기존 AI 음성 대화 시스템은 사용자의 말을 텍스트로 변환한 뒤 답변을 생성하고 이를 다시 음성으로 합성하는 방식으로 작동한다. 이 과정에서 감정과 억양 등 음성에 담긴 정보가 일부 손실되는 경우가 있었다.
반면 라온-스피치는 언어 모델의 텍스트 처리 역량을 유지하면서도 사용자의 목소리에 담긴 감정과 억양 등 음성 정보를 함께 이해해 자연스럽고 맥락에 맞는 음성 답변을 생성할 수 있다.
라온-스피치는 210억(21B)개의 파라미터를 갖췄다. 300억(30B) 파라미터 이하 공개 음성 언어 모델 가운데 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했다. 성능 평가는 음성 인식·음성 합성·음성 이해·음성 질의응답·텍스트 질의응답·도구 호출 등 총 6개 영역에서 한국어 24개, 영어 22개 등 총 46개의 벤치마크를 활용해 진행했다.
향후 크래프톤은 이번 연구를 통해 축적한 음성 AI 역량을 이용자와 함께 플레이하는 AI 캐릭터인 CPC(Co-Playable Character) 고도화에 활용할 계획이다.
이강욱 크래프톤 최고인공지능책임자(CAIO)는 "라온-스피치는 크래프톤이 AI 파운데이션 기술을 꾸준히 연구하고 고도화해 온 결과물"이라며 "앞으로도 게임에 필요한 AI 파운데이션 기술을 지속적으로 고도화해 새로운 게임 경험을 만들어 나갈 것"이라고 말했다.
