"매우 섬뜩한 상황이다." 

기존 생성형 AI가 사용자의 질문에 답하거나 특정 프로그램 안에서 기능을 수행했다면, 에이전트 AI는 여러 내부 시스템과 인프라를 오가며 필요한 작업을 스스로 판단해 수행할 수 있다.

예컨대 단순히 '응답 지연을 줄여달라'는 지시를 받아도 AI는 하나의 업무 프로그램에 머무르지 않는다. 여러 시스템과 서버, 데이터베이스, 네트워크 등을 오가며 필요한 작업을 스스로 수행한다. AI가 개발자의 의도와 다른 방식으로 시스템 전반을 움직일 수 있다는 점에서 개발자나 보안 담당자 입장에서는 "매우 섬뜩한 상황"이라는 적나라한 표현이 등장했다.

이처럼 에이전트 AI는 예측하지 못한 경로로 움직일 수 있는 만큼 활용 규모보다 통제 능력이 금융사의 경쟁력을 좌우할 것이라는 게 씨티은행의 판단이다.

지난 20일 서울 중구 더존을지타워에서 열린 싱귤래리티 금융 소사이어티(SFS) 2기 포럼에서 '글로벌은행의 에이전틱 AI 활용 사례'를 주제로 발제자로 나선 장은영 씨티은행 정보보안본부 상무(CISO)는 이같이 진단했다. 

그는 '섬뜩하다'라고 표현할 만큼 AI의 예상치 못한 행동이 향후 가장 큰 위험이 될 것이라 분석했다. 이러한 이유로 씨티은행은 에이전트 AI를 일반 프로그램과 다른 '관리 대상'으로 규정하고 있다.

씨티은행은 AI 활용의 핵심을 성능보다 보안과 거버넌스 확보에 두고 있다. 장은영 상무는 "씨티그룹은 630개 에이전트 AI를 등록·식별해 권한을 통제하는 거버넌스 체계를 구축하고 있다"고 밝혔다. 각 AI에 수행 가능한 업무와 접근 권한을 정해 부여하고, 에이전트마다 담당 관리자를 지정했다. 1대 1 매칭 방식이다.

에이전트 AI가 여러 내부 시스템과 연동해 스스로 업무를 수행하는 만큼, 개발부터 배포, 운영까지는 기존 소프트웨어와 같은 관리 절차를 적용하되, 운영 이후에도 지속적인 관리와 통제가 필요하다는 설명이다. 

그는 "일부 기업의 경우 82%가 미등록 에이전트를 이용 중인데, 이러한 등록되지 않은 새도우 에이전트는 관리 사각지대에 놓여 통제가 불가능하다"고 강조했다. 사고발생 시 어떤 에이전트가 누구의 승인하에 행동했는지 추적과 감사가 불가능하다는 얘기다. 

이같은 점에서 장 상무는 에이전트 AI의 등록을 AI 거버넌스의 출발점으로 봤다. 글로벌 규제도 고위험 AI 시스템의 중앙 데이터베이스 등록을 법적으로 의무화하는 추세다. 

씨티그룹 내에서는 에이전트의 특성이나 권한, 어떤 애플리케이션과 연동하는지 등을 보안, 기술, 리스크 등 다양한 분야 전문가가 참여하는 거버넌스 포럼을 통해 에이전트의 기능과 권한, 연동 시스템 등을 최종 승인하고 있다.

추가적인 보안 체계의 필요성도 강조했다. 장 상무는 "기존 보안 체계만으로는 대응하기 어려운 영역이 생기고 있어 새로운 심층 방어 체계가 필요하다"면서 "하나의 계층이 뜷려도 다음 계층에서 방어할 수 있도록 계층을 총괄하는 조직 차원의 거버넌스가 필요하다"고 말했다. 

AI 도입에 있어 인간의 개입이 반드시 필요하다는 점도 강조했다. 그는 "AI의 자율성 레벨은 1부터 5까지인데, 마지막 5단계는 인간의 개입 경로가 아예 없는 단계(Out-of-the-Loop)"라며 "단계가 높아지면 높아질수록 위험도 커지기 때문에 씨티는 이를 허용하지 않고 있다"고 말했다.  

자율성 레벨은 △단순답변기(1단계) △도구쓰기(2단계) △계획세우기(3단계) △혼자행동하기(4단계) △스스로 진화하기(5단계)로 4단계까지는 사람의 감시와 개입이 들어가는 단계다. 장 상무는 "자율성 확대는 여러 테스트와 검증을 통해 충분한 검증이 이뤄졌다고 판단될 때 허용할 예정"이라며 "현재 씨티는 레벨 2~3 수준"이라고 설명했다. 

국내에는 규제 환경상 글로벌 금융사처럼 AI를 폭넓게 활용하기 어려운 현실도 짚었다. 장 상무는 "에이전트 AI를 활용하려면 보안과 관련해 서비스형 소프트웨어(SaaS)를 도입해야 하는데 망분리 규제에 부딪혀있다"고 언급했다. 

이어 "한국은 규제로 인해 글로벌 씨티그룹과 같은 수준으로 에이전트 AI를 운영하기 어려운 환경"이라며 "현재는 규제에 저촉되지 않는 기술 영역부터 단계적으로 도입하는 방식으로 접근하고 있다"고 말했다. 그는 "통제 가능한 개발자 업무에 먼저 적용을 하고 비개발자 영역으로 넘어가는 수순이 될 것"이라고 덧붙였다.

국내 금융권의 과제로는 내부통제 강화를 꼽았다. 투자가 커지는만큼 내부통제를 조직문화와 체질로 정착시켜야 한다는 의미다. 그는 "내부통제가 조직문화와 체질로 정착시키는데는 상대적으로 시간이 걸린다"면서  투자와 더불어 촘촘한 내부통제를 갖춰 AI 보안체계를 내재화 해야함을 강조했다.