인공지능(AI) 개발기업이 공통적으로 고민하는 부분이 있다. 방대한 데이터 양을 어떻게 다루냐다.
일반적으로 AI 성능은 학습하는 데이터 양에 비례한다. 기업들도 초거대 AI 개발에 역량을 쏟는다. 문제는 AI 모델이 커질수록 비용과 리소스 부담이 커진다는 점이다. 이때 필요한 것이 'AI 경량화' 기술이다.
AI 경량화 기술은 AI를 보다 효율적으로 사용할 수 있도록 돕는다. AI 모델을 보다 작고 가볍게, 빠르게 만들면서 성능은 유지시키는게 관건이다.
국내에서 AI 개발에 많은 힘을 쏟고 있는 네이버·SK텔레콤도 AI 경량화 기술에 주목, 관련분야 스타트업 투자에 나섰다.
올해 3월 창업한 새내기 스타트업 '스퀴즈비츠'가 대표적이다. 김형준 스퀴즈비츠 대표를 만나 AI 경량화 기술에 대해 들어봤다.
AI 경량화 기술 뭘까
스퀴즈비츠는 AI 모델의 경량화·가속화 솔루션을 개발하는 스타트업이다. 데이터를 극단적으로 압축시켜 AI 모델 성능은 그대로 유지하면서도 연산 처리 속도를 끌어올리는 기술을 갖고 있다.
대부분의 딥러닝 모델들은 하나의 데이터를 표현하는데 32비트의 데이터 포맷을 사용한다. 반면 스퀴즈비츠는 데이터를 4비트 이하로 표현해 모델의 크기를 압축하고 연산 속도를 높였다.
AI 모델이 커질수록 이 모델을 구성하기 위해선 더 많은, 더 좋은 성능의 하드웨어가 있어야 한다. 이에 따른 비용은 늘어날 수밖에 없다. 스퀴즈비츠가 개발 중인 솔루션은 더 저렴한, 훨씬 적은 개수의 그래픽처리장치(GPU)를 사용해도 똑같은 속도로 작업을 할 수 있어 클라우드 비용을 절감시켜 준다는 설명이다.
성능 개선 효과도 거둘 수 있다. 리소스에 제한이 있는 엣지 디바이스의 경우 상대적으로 성능이 떨어지는 작은 모델을 사용할 수밖에 없다. 하지만 AI 모델을 경량화하면 모바일 기기와 같은 엣지 환경에서도 더 좋은 성능의 모델을 사용할 수 있다.
김형준 대표는 "스퀴즈비츠는 포스텍 대학원에서 딥러닝 가속기 하드웨어(NPU)를 연구하던 동기들이 박사 졸업 후 함께 창업한 팀"이라며 "일반적으로 잘 사용하지 않는 하드웨어를 주더라도 빠르게 이해하고 적절한 경량화 기법을 통해 AI 모델을 최적화할 수 있는 기술을 갖고 있다"고 말했다. 이는 딥러닝 전용 하드웨어까지 직접 설계한 경험을 갖고 있기 때문에 가능한 일이라는 게 김 대표의 설명이다.
김 대표는 "누구보다 작고 빠른 모델을 만들 수 있다"고 자신하면서 "어떤 AI 모델이 주어져도 그 구조와 알고리즘을 빠르게 이해하고 경량화할 수 있다"고 밝혔다.
스퀴즈비츠는 이런 경쟁력을 대외적으로도 인정받고 있다.
지난 7월 과학기술정보통신부가 주최한 '2022 인공지능 온라인 경진대회'에서 자연어 분야 2위를 차지했다. 11월 열린 '서울지역 창업기업 만남의 장'에서는 중소벤처기업부장관상을 받았다. 국내 최대 스타트업 축제로 불리는 '컴업 2022'에서는 북미 최대 IT 미디어 테크크런치가 선정하는 '베스트 어워드'와 컴업 스타즈: 루키리그 중 상위 5개사에 주는 '스타 오브 스타 상'을 동시에 받았다.
네이버·SK텔레콤도 관심가져
스퀴즈비츠는 네이버 스타트업 양성조직 D2SF(D2 스타트업 팩토리)가 투자하면서 이름을 알리기 시작했다.
양상환 네이버DS2F 리더는 지난 6월 스퀴즈비츠 투자 배경에 대해 "데이터를 극단적으로 압축시켜서 동일한 성능을 내는 AI 모델을 아주 가볍게 만드는 기술을 갖고 있다"며 "하이퍼 클로바 등 네이버 안에 있는 AI 조직들이 관심을 많이 가질 수밖에 없는 기술"이라고 언급했다.
이 투자를 계기로 네이버 클로바와 AI 모델 경량화 PoC(기술검증)을 진행하기도 했다.
김형준 대표는 "PoC는 양측 모두 매우 만족하는 수준으로 잘 마무리됐다"며 "이후 추가 협업을 위해 논의 중"이라고 밝혔다.
SK텔레콤과의 사업 협력도 논의 중이다. 지난 8월 SK텔레콤이 지원하는 '트루 이노베이션' 프로그램에 선정되면서다.
김 대표는 "SK텔레콤 내부의 많은 조직이 AI 활용을 위해 R&D를 진행하고 있다"며 "대표적으로 SK텔레콤의 R&D 연구소인 T3K에서 다양한 AI 모델을 개발 중인데, 실제 서비스 도입을 위해서는 경량화가 반드시 필요한 만큼 이 부분에서 협업할 수 있을 것이라 생각한다"고 말했다.
스퀴즈비츠는 다양한 산업 분야에 사용되고 있는 AI 모델을 경량화하며 응용 분야를 넓히는 데 주력하고 있다.
김 대표는 "스퀴즈비츠가 보유한 AI 경량화 기술은 특정 AI 응용에 국한되지 않는 기술이기 때문에 다양한 응용에서 스퀴즈비츠의 경량화 기술이 잘 적용될 수 있다는 것을 보여주는 것이 중요한 과제"라며 "CCTV, 자율주행 등에 사용되는 컴퓨터 비전 모델뿐만 아니라 음성 인식 AI나 자연어 처리 모델까지 경량화 할 수 있다"고 밀했다.
PoC 역시 아직 다뤄보지 못한 AI 모델을 경험해보는 데 우선순위를 두고 있다. 회사가 보유한 기술이 다양한 응용의 다양한 AI 모델에 잘 적용된다는 것을 설득하기 위해서는 이를 뒷받침하는 레퍼런스가 많이 필요하다는 판단에서다.
김 대표는 "다양한 산업 분야, AI 서비스 환경, 서비스 규모 등의 기업과 AI 모델 경량화 PoC를 진행하고 있다"며 "지금까지는 컴퓨터 비전, 음성 인식, 자연어 처리 분야의 전반에 걸친 모델들을 경량화해왔고 최근에는 그중에서도 생성 모델이나 메타버스와 관련된 AI 모델들에 주목하고 있다"고 했다.
스퀴즈비츠는 현재 비전문가들도 쉽게 AI 모델을 경량화해볼 수 있도록 '노코드 AI 경량화 툴킷'을 준비하고 있다. 다양한 고객사와 PoC를 진행하다 보니 공통적으로 적용할 수 있는 기술과 그 순서가 정해져 있다는 판단에서다. SaaS 형태로 제공될 예정인 해당 툴킷에는 AI 모델의 시각화, 속도 및 성능 평가·분석, AI 모델 경량화의 핵심 기능을 탑재할 예정이다.
김 대표는 "회사별로 AI 모델을 만드는 개발자는 있지만 경량화에 전문성을 가진 사람은 거의 없다"면서 "노코드 AI 경량화 툴킷을 통해서 경량화에 전문성이 없는 사람들도 쉽게 경량화를 해보고, 그 성능을 분석·평가해볼 수 있게 하고자 한다"고 했다.
스퀴즈비츠의 목표를 묻자 김 대표는 "실제 산업에서 서비스에 도입되는 AI 모델의 수는 학계에서 연구·개발되는 AI 모델의 극히 일부에 지나지 않는다. 실제로 도입하기에는 성능이 좋지 않거나 효율이 좋지 않기 때문"이라며 "경량화 기술을 통해 모두가 AI를 보다 효율적으로 사용할 수 있게 함으로써 AI 기술들이 보다 빨리 많이 우리 삶에 도움되길 희망한다"고 밝혔다.
