빅데이터 시장은 해마다 급격하게 커질 전망이다. 지금도 주요 기업들은 가치 있는 데이터 확보 경쟁에 뛰어들고 있다. 정부도 민간영역의 빅데이터 활용도를 높이려 공공 데이터를 공개한다는 방침이다.
하지만 빅데이터 산업의 핵심은 자료수집 보다 분석과 해석이다. 기존 IT 인프라로 처리하기 어려운 초대용량 데이터를 처리하기 위해 새로운 솔루션이 필요하며, 이 과정에서 얼마나 정교하게 원하는 해석과 대안을 뽑아낼 수 있느냐가 관건이다. 이른바 '큐레이션(curation)'이 관건이다.
실제로 구글은 단순한 문법 기반이 아닌 다국어 문서를 기반으로 한 데이터 확률모형을 만들어 자동번역 패러다임을 전환시켰다. 그 결과 정확도를 끌어올린 구글번역 서비스를 시행중이다. 인터넷으로 영화를 서비스하는 미국 인터넷 스트리밍 회사 넷플릭스도 기존 제작자 직관방식을 버리고 6000만 고객 데이터를 통해 선호작품 특성을 정확하게 파악, 시청률 1위를 달리고 있다.
컨설팅 기관인 가트너는 "가용 데이터의 양과 종류가 급증하는 상황에서 데이터를 수집하고 분석하는 수준으로는 충분하지 않으며, 의사결정에 직접 활용할 수 있는 정보를 적시에 제공할 수 있어야 한다"고 밝혔다.
| ▲ [자료=삼성경제연구소] |
◇큐레이션 성공하려면…
큐레이션은 흔히 미술관이나 박물관에서 많이 불리는 용어다. 기획 의도에 맞게 작품을 선정, 수집, 연구, 구성, 전시, 해설하는 활동을 총칭한다. 때론 잘 알려진 작품이라도 새로운 의미를 부여하고 우수한 작품을 발굴해 여러 작품들과 하나의 주제를 형상화 하는 일을 말한다.
즉 아무리 현실을 잘 반영하는 빅데이터가 있더라도 경영에 도움되는 정보를 찾아내지 못한다면 빅데이터 투자는 낭비에 불과하다는 뜻에서 큐레이션의 중요성이 부각된다. 이런 측면에서 삼성경제연구소는 빅데이터 큐레이션이 갖춰야 할 5가지 요소를 소개했다.
우선 장기간 축적된 데이터로부터 과거와 현재의 규칙성·상관관계를 밝히고, 이를 토대로 특정 이벤트 발생여부나 수요·판매량을 분석하는 미래예측이 잘 돼야 한다. 소비자의 일상이 담긴 데이터에서 발견한 새로운 패턴으로 경쟁사나 고객 스스로가 인지하지 못한 숨겨진 니즈도 뽑아내야 한다. 감성적 정보량과 종류가 증가한 만큼 이상징후를 포착하고 고위험 이벤트 발생 가능성을 감지하는 등 리스크 관리도 이뤄져야 한다.
또 개별상황을 정확하게 이해해 가장 적합한 방식과 내용으로 효과적인 메시지를 전달하는 등 맞춤형 서비스가 뒷받침 돼야 한다. 마지막으로 시장상황 및 경쟁동향을 실시간 파악해 환경변화에 신속하고 자동으로 대응할 수 있는 시스템을 구축해야 한다.
| ▲ [자료=삼성경제연구소] |
◇아이디어맨 필요하다
빅데이터 큐레이션이 끝났다면 이를 토대로 해법을 제시하고 실행하는 과정이 필요하다.
만약 분석결과 실행시 조직의 첨예한 이해관계와 기밀누출에 대한 우려가 표출된다면 어떻게 해야 할까. 때문에 전문가들은 기업 현황을 정확히 이해하는 내부 인사가 내부조정 및 보안이슈를 담당해야 한다고 조언한다.
또 기존 업무에 활용했던 한정된 데이터만 수집해 분석할 경우 기대 이하의 결과값이 나올 때가 있다. 이를 극복하기 위해선 내·외부 데이터를 융합할 줄 아는 폭 넓운 시야의 아이디어맨이 필요하다.
삼성경제연구소 박성민 수석연구원은 "큐레이터로서의 자질을 갖춘 핵심인력을 내부에서 육성하고, 별도의 큐레이션 조직으로 확장할지 여부를 판단하는 것이 바람직하다"고 밝힌 뒤 "오바마 미국 대통령도 2008년 초선 당시부터 관리해온 유능한 인재 및 전문업체로 구성된 협력 생태계가 최고의 분석팀을 만드는데 결정적 역할을 했다"고 설명했다.
그는 또 "세계적인 박물관들이 큐레이터의 훌륭한 안목을 바탕으로 기획전을 반복하며 점차 소장품과 명성을 쌓아가듯 기업도 빅데이터 큐레이터를 활용해 역량을 축적해야 한다"고 덧붙였다.
