"웹툰미(WebtoonMe)는 웹툰 속 주인공이 되어 웹툰 안으로 들어간다는 콘셉트로 기획했습니다. 그렇기에 웹툰과 비슷한 결과를 얻어내는 게 중요합니다. 스테이블 디퓨전 모델보다 비교적 가볍고 용량이 작다는 강점이 있습니다."
백지혜 네이버웹툰AI 연구원은 28일 서울 코엑스에서 열린 네이버 개발자 컨퍼런스 '데뷰'에서 스노우 AI 아바타와 웹툰미의 차이를 묻는 질문에 대해 이렇게 답변했다. 웹툰미는 네이버웹툰이 새롭게 선보인 AI기술이다. 딥러닝 영상을 이용해 사진과 영상을 웹툰 이미지처럼 바꿔준다. 앞서 네이버엡툰은 세계 최고 AI학회로 통하는 'CVPR 2022'에서 웹툰미 기술 논문을 발표하는 성과를 거뒀다.
AI 기술 트렌드 반영…가볍고 빨라진 웹툰미
이날 발표에 나선 백 연구원은 "개발 과정에서 AI 생성 모델의 트렌드를 읽고 빠르게 적용했다"고 밝혔다. 기존 AI 생성 기술은 성능이 좋은 '모델'을 만드는 것이 중요했다. 최근에는 굳이 학습이 어렵고 무거운 모델을 사용하기보다, 고품질의 데이터를 만들어 간단한 모델을 학습시키는 방식으로 바뀌었다.
이에 웹툰미 개발진은 웹툰 도메인에 알맞은 모델을 자체 연구개발했다. 의도적으로 신체 비율을 왜곡하는 데포르메가 심한 웹툰 캐릭터에도 적용할 수 있도록 데이터를 손봤다. 또한 개발 과정에서 머릿결 표현이 쉽지 않고 배경 이미지가 일정하지 않다는 문제가 있었는데, 최신 이미지 생성 AI '스테이블 디퓨전'을 활용해 모델 성능을 개선했다.
단순한 기술로만 그치지 않고 시장의 수요를 최대한 반영하기 위해서도 노력했다. 예를 들어 만화 캐릭터의 경우 흰 피부를 가진 경우가 많은데, 원본 사진·영상의 다양한 피부 톤이 반영되지 않으면 자칫 해외에서는 화이트워싱(유색인종 캐릭터를 백인처럼 보이게 하는 행위) 논란이 발생할 수 있었다. 이에 피부 영역의 색상 분포를 분석해 고유의 피부색까지 반영된 '웹툰미'가 가능하도록 했다.
웹툰미가 현장의 요구를 받아들여 개선한 것 중 하나는 추론 속도다. 지난해 웹툰미 기술은 웹툰과 관련된 상품을 판매하는 라이브커머스에 적용돼, 짧은 시간 내에 영상을 수차례 변환시켜야 했다. 이에 웹툰미팀은 메모리에 추론 최적화를 위한 엔진인 텐서RT를 상주시켜서 추론 속도를 개선하고 필요 장비를 가볍게 만드는 데 성공했다.
김승권 네이버웹툰AI 연구원은 "생성 모델의 경우 딥러닝 추론 엔진인 텐서RT 적용이 어렵다고 많이 생각하는데, 굉장히 적용이 잘 되는 것을 확인했다"고 설명했다. 현재 웹툰미는 1080픽셀 이미지 1장을 변환하는데 1초도 걸리지 않지만, 필요한 장비는 웹캠과 대형 모니터, 노트북 한 대에 불과하다.
웹툰 속 주인공 되는데 1초도 안 걸려
네이버 데뷰 행사에서는 웹툰미 기술을 체험해볼 수 있는 부스가 마련돼 눈길을 모았다. 여신강림, 팔이피플, 이말년, 복학왕, 호랑이 형님 등 다양한 네이버웹툰 캐릭터 필터를 선택하면 최근 유행하는 네컷사진 형태로 사진을 찍어볼 수 있다. 일부 방문객은 인기 캐릭터 옆에 바짝 선 포즈로 사진을 찍기도 했다.
기자가 실제로 체험해보니 카메라 앞에 서는 순간 바로 웹툰 속 캐릭터처럼 완벽하게 모습이 변했다. 기자가 필터를 선택해 사진을 찍고, QR코드로 이미지를 받아보기까지 30초도 걸리지 않았다.
아쉬운 점도 있었다. 마스크를 쓰고 사진을 찍으니 잠깐이지만 웹툰 캐릭터처럼 왕방울만한 눈동자가 다시 원래대로 작아졌다. 대부분의 데이터셋에 마스크를 쓴 인물이 없기 때문에 발생한 문제였다. 김 연구원은 "마스크를 쓴 학습 데이터가 없어 생긴 일로, 니즈가 있다면 데이터를 추가해 보완할 예정"이라고 말했다.
앞서 웹툰미는 유미의 세포들 관련 상품을 판매하는 라이브커머스에 접목돼 시청자의 몰입감을 높이고 마케팅 면에서도 성과를 거뒀다. 올해는 웹툰미 기술을 쌍방향으로 소통하며 만들어가는 인터랙티브 웹툰에 적용하거나 웹툰 AI 아바타 서비스 등에 적극 활용할 계획이다.
