SK텔레콤이 자체 개발한 텔코(Telco) LLM(대규모언어모델)을 활용한 인공지능(AI) 상담 업무 지원 시스템을 내년부터 전면 도입한다고 18일 밝혔다. 앞서 지난 10월 중순부터 단계적으로 오픈해 최근 한 달여간 베타 서비스를 성공적으로 운영했다는 설명이다.
SK텔레콤은 앤트로픽(Anthropic) 등 외국 주요 LLM 업체들과 협력해 다양한 통신 전문 지식을 학습한 텔코 LLM을 개발해 왔다. 지난 1년간 지식정보시스템을 AI 활용에 최적의 구조로 개편하고 다양한 통신 관련 데이터를 활용한 모델 튜닝을 진행했다.
상담센터 전문가 수십명이 참여해 텔코 LLM 성능 향상을 위한 다양한 학습 데이터를 구축하기도 했다. 연중 테스트와 피드백을 통한 강화 학습을 반복해 통신 서비스 전용 LLM, LMM 모델을 만들었다.
더불어 LLM이 질문에 가장 정확하고 구체적인 답을 생성할 수 있도록 답변 생성에 필요한 정확한 정보만을 검색, LLM에 제공하고 답변 품질을 높이는 RAG(검색증강기술)도 개발·적용했다.
여기에 텍스트를 넘어 다양한 이미지를 이해할 수 있는 LMM을 활용해통신업에 특화된 전용 LMM을 개발했다.
이를 통해 실제 업무에 활용할 수 있는 AI 상담 지원 시스템을 구축했다. 먼저 텔코 LLM 기반의 AI 지식 검색 도우미 서비스를 통해 상담사들이 필요한 정보를 빠르게 찾아 고객에게 안내할 수 있도록 지원한다.
이 서비스는 상담사들이 필요한 정보를 지식정보시스템에서 하나하나 찾을 필요 없이 퍼플렉시티나 챗(Chat)GPT처럼 상담사가 자연어로 질문을 입력하면 AI가 상담사 대신 정보를 검색해 정리해 준다. 이를 통해 상담사들의 정보 탐색 시간을 단축시키고, 상담사 개인의 역량·경력과 무관하게 고품질 상담 서비스를 제공할 수 있다.
이미 지난달 21일부터 베타 서비스를 통해 실제 상담사들이 상담 현장에서 사용해 안정화 작업 중이다. 내년부터는 모든 이용자 상담 업무에 전면 적용할 예정이다.
아울러 에이닷 엑스(A.X) LMM을 활용해 AI 서류 자동 처리 시스템도 구축한다. 현재 상담센터는 문자와 이메일, 팩스 등 채널로 송부된 사진, 스캔 문서 등의 구비 서류들을 처리하고 있다. 이러한 다양한 형태의 서류를 AI가 자동으로 분류하고 처리해 증빙서류 확인 시간을 크게 단축시킬 수 있을 것이라는 설명이다.
오는 12월에는 이용자 상담 결과를 텔코 LLM이 자동으로 분류·요약 정리하는 상담 후속 업무 자동화 시스템도 오픈할 예정이다. 상담이 종료된 후 상담 결과를 정리하는데 평균 30초 정도 소요됐지만 AI가 자동으로 처리를 해주게 되면 상담사는 상담 종료 이후 후속 업무 처리 없이 대기중인 이용자에게 상담을 제공할 수 있다.
홍승태 SK텔레콤 고객가치혁신 담당은 "AI를 활용한 상담센터로 진화하면서 업무 효율화에만 치중하지 않고, 이용자 개개인에 최적화한 상담을 제공하는 게 목표"라고 전했다.
