카카오가 자체 개발한 인공지능(AI) 모델의 오케스트레이션 능력을 평가하는 지표가 글로벌 학회에서 인정받았다. 오케스트레이션은 AI가 여러 작업과 도구를 스스로 계획·조율해 목표를 달성하는 능력을 말한다.
카카오는 오케스트레이션 능력평가 지표인 '오케스트레이션 벤치마크' 논문이 세계 3대 AI 학술대회인 '국제표현학습학회(ICLR) 2026'에 채택됐다고 3일 밝혔다. ICLR은 글로벌 빅테크 기업들이 주목하는 AI 분야의 학술대회로, 이번에 제출된 1만9000여건의 논문 중 상위 28%만 채택됐을 정도로 경쟁이 치열했다.
카카오는 AI가 단순 문답형 거대언어모델(LLM)을 넘어 스스로 계획을 세우고 도구를 활용해 목표를 달성하는 에이전틱 AI 시대로 진화하는 흐름에 맞춰 벤치마크를 개발했다.
오케스트레이션 벤치마크는 단순한 AI 성능 측정을 넘어 실제 서비스 환경에서 복합적인 업무를 얼마나 안정적으로 처리할 수 있는지를 평가한다. 또 실제 서비스 시나리오를 기반으로 작업 계획과 도구 실행을 분리해 정밀하게 평가하는 새로운 프레임워크을 제시했다.
평가 모델은 여행·쇼핑·금융·일정 등 17개 서비스 도메인과 100여 개의 가상 도구를 포함해 구성했다. 사용자 요청 변경이나 추가 질문 등과 같은 실제 서비스에서 발생하는 대화 흐름을 반영해 시나리오를 설계했다.
모든 평가 데이터는 AI 어노테이터(평가 기준을 직접 설정하는 인력)의 수작업을 통해 구축·검증됐다. 지원 언어는 한국어와 영어 두 가지다. 한국어는 문화적 특성과 맥락을 반영해 평가의 정확도와 신뢰도를 높였다.
카카오는 글로벌 AI 생태계 활성화에 기여하고 연구 개발 성과의 자유로운 활성화에 기여하기 위해 해당 논문을 오픈소스 플랫폼 '깃허브'에 공개했다.
카카오 관계자는 "오케스트레이션 벤치마크는 에이전틱 AI가 실제 서비스 환경에서 안정적으로 작동하는지를 평가하는 핵심 도구"라며 "향후 에이전트 간 협업 및 오케스트레이션 능력 강화를 위한 연구를 지속할 예정"이라고 말했다.
