OTT(온라인동영상서비스)시장의 급격한 성장은 K-콘텐츠의 황금기를 불러왔다. OTT 기업들은 더 많은 이용자를 유인할 오리지널 콘텐츠를 확보하기 위해 아낌없이 투자했고, 오징어 게임이나 더 글로리처럼 세계를 열광시킨 K-콘텐츠가 쏟아져나왔다.
그러나 늘어난 콘텐츠 수요에 비해 제작에 드는 시간이나 인력은 충분치 않다. 콘텐츠 업계는 반복적이고 노동집약적인 작업에 인공지능(AI)을 도입해 효율화하기 위한 시도를 하고 있다. CJ올리브네트웍스 AI연구소의 진무경 기획자, 조영선 연구자 또한 이러한 생각에서 출발해 AI 미디어 도구 '어펙토'를 개발했다.
현장 실무진 '니즈' 맞추니 상용화 보였다
어펙토는 영상 편집자의 반복 업무를 도울 수 있는 미디어 AI 기술을 묶어낸 B2B(기업 간 거래) 상품이다. 크게 AI를 통해 특정 오브젝트를 삭제하고 흐리게 처리하는 'AI 리무버', 방송 영상의 오류를 파악하는 'AI QC', 빠르게 영상 섬네일(영상 소개 이미지·thumbnail)를 추출하는 'AI 섬네일'로 나뉜다.
CJ올리브네트웍스는 일찍이 비전(시각정보)AI 기술에 주목해 꾸준히 연구해 왔다. 어펙토 개발진들은 산재해 있던 기술을 어떻게 조합해서 서비스를 만들 수 있을지 고민했다. 방송 콘텐츠를 편집하고 송출하는 미디어 플랫폼 조직 현장 실무진을 찾아가 어떤 고충이 있는지도 물었다.
진무경 기획자는 예상외로 '니즈'(요구)가 강했던 기술로 AI QC를 꼽았다. 영상을 편집하다 보면 중간에 픽셀이 깨지거나 프레임이 튀는 등 오류가 발생하는데, 이를 찾기 위해 기존에는 편집자가 몇 시간씩 모니터링하면서 이를 찾아내야 했기 때문이다. AI QC는 오류로 의심되는 부분을 미리 찾아내 알려주면서 소요 시간을 줄인다.
진 기획자는 "한 화면에만 다른 픽셀이 들어가거나 하는 건 AI가 찾아내기 훨씬 쉬울 수 있고, 우리가 해결할 수 있겠다고 생각해 접근했다"면서 "어떤 모델을 필요로 하는지, UX(사용자경험)와 UI(사용자환경) 디자인 방향까지 개발하면서 바로 피드백을 얻을 수 있었다"고 말했다.
AI, 로고 지우고 섬네일 뽑는 보조편집자
섬네일을 추출해주는 기술도 만족도가 높다. 간단해 보이는 작업이지만 하루에도 수십개의 콘텐츠를 다뤄야 하는 편집자에게는 노동량이 상당하다. 영상의 얼굴이나 다름없는 만큼, 주인공의 중요한 순간이 아니라 엑스트라가 지나가는 장면을 섬네일로 쓸 수는 없는 노릇이다.
AI섬네일은 영상 내에서 특정한 조건에 맞춰 섬네일 10~20개를 추출한다. 특별히 섬네일을 뽑아내야 하는 하이라이트 구간을 설정해 그 안에서만 뽑아낼 수도 있다. 이 기술은 사내 미디어 플랫폼 사업부에서도 적극 도입 중이다. 예를 들어 동영상 섬네일을 매주 2000건 정도 추출한다면, 그중 500건은 AI 섬네일을 활용하는 방식이다.
어펙토 개발진은 AI섬네일에 자유롭게 옵션을 설정할 수 있는 기능도 추가할 예정이다. 섬네일을 선정하는 기준은 편집자와 플랫폼마다 다른 만큼 디테일하게 기준을 조정할 수 있다. 조영선 연구원은 "특정 인물이나 동작, 감정 등을 찾을 수 있는 기술을 넣어두고 취사 선택할 수 있도록 하는 식"이라고 설명했다.
'AI 리무버'는 담배, 술 등 특정 오브젝트를 학습시키면 AI가 영상에서 해당 오브젝트를 찾아내 지운다. 진무경 기획자는 실무진들이 가장 많이 지우는 오브젝트가 방송국의 로고라고 귀띔했다. 대부분의 K-콘텐츠가 해외로 수출되거나 유튜브나 OTT 플랫폼으로 다시 송출되다 보니, 수작업으로 로고를 하나하나 지워야 했기 때문이다.
AI 리무버는 콘텐츠 제작사의 수요도 클 것으로 예상된다. 화려한 액션 장면을 위해 필요한 와이어나 특수장비가 있다면, 촬영 후 시각특수효과(VFX) 작업을 통해 일일이 이를 지워야 한다. 특수효과가 많은 영화의 경우 촬영보다 후반 작업에 들이는 제작기간이 더 길 때도 있을 정도다. 정밀하게 오브젝트를 지워주는 AI 리무버를 활용하면 이러한 단순 작업을 줄일 수 있다.
외부로 개방…새 기능 추가도 고려
CJ올리브네트웍스 AI연구소는 어펙토의 외부 서비스를 앞두고 있다. 다음 달 개발 작업을 시작해 좀 더 손쉽게 사용할 수 있도록 접근성을 높이고, 실무 테스트를 통해 기능도 고도화한다.
고객의 요구에 따라 새로운 기능도 추가할 계획이다. 동영상을 압축하는 과정에서 화질이 손상되면 다시 해상도를 높이고, 화질도 개선할 수 있는 '업스케일링', 영상 하이라이트를 만들어 내거나 시각장애인을 위한 TTS(음성변환) 서비스도 고려하고 있다.
어펙토 개발진은 미디어 AI 시장의 성장 가능성이 높다고 봤다. 공급되는 콘텐츠가 기하급수적으로 늘어나는 상황에서 제작 비용과 시간을 줄이기 위해, 반복되는 업무는 결국 AI로 대체할 수밖에 없다는 설명이다.
진무경 기획자는 "단순 반복은 AI가 100% 대체할 것이라고 보고, 인간은 창작을 비롯해 새로운 것을 만들어내는 데 많은 에너지를 쓸 것"이라고 말했다. 조영선 연구자는 "창작자의 영역을 침범해서 완전히 대체하는 게 아니라 도구로써 활용하는 데 초점을 맞추고 있다"고 말했다.
