현실적으로 어떻게 이 데이터를 다 확보합니까. 최대한의 노력으로 현장 데이터를 확보하고, 가상의 합성 데이터도 만들어 내는 게 중요합니다.
지난 달 29일 배경훈 부총리 겸 과학기술정보통신부 장관이 '대한민국 대도약 3대 메가프로젝트 국민보고회' 무대에 올랐습니다. 설명을 하던 중 배 부총리는 주머니에서 테니스공과 탁구공을 꺼냈는데요. 두 공의 크기를 비교하고 땅에 튀기기도 하며 물성의 차이를 보여줬습니다.
피지컬 인공지능(AI)에서 데이터의 중요성을 강조하기 위해서인데요. 정부는 피지컬 AI 1강을 선언했고, 첫 번째 과제가 바로 AI 데이터를 확보하는 것입니다.
피지컬 AI, 핵심은 '행동 데이터'
생성형 AI의 거대언어모델(LLM)은 그 동안 쌓인 기사를 비롯해 소셜미디어 게시글 등 수십 년간의 디지털 기록이 학습 재료입니다. AI 모델 성능을 높이기 위해 학습에 필요한 양질의 데이터를 얼마나 많이 확보하느냐가 중요한데요. 다만 데이터 자체가 부족하지는 않습니다.
피지컬 AI 데이터는 상황이 전혀 다릅니다. 피지컬 AI는 AI가 지구의 물리 시스템에서 자율적으로 환경에 적응해 인식·판단·행동하는 것으로 정의할 수 있는데요. 이를 위해선 언어가 아닌 행동을 학습해야 합니다. 행동 데이터가 필요하다는 의미죠.
피지컬 AI가 학습하는 행동 데이터는 두 가지로 나눌 수 있습니다. 실(實) 데이터와 합성 데이터인데요. 실 데이터는 카메라로 직접 영상을 찍거나 사람이 관절마다 센서를 붙인 외골격 장치를 입고 움직이는 등 실제 행동을 통해 얻은 데이터입니다.
그런 만큼 데이터의 질(정확도)이 좋습니다. 문제는 실 데이터를 쌓는데 너무 오랜 시간과 노력이 필요하다는 점입니다. 로봇 하나를 학습시키려면 1만시간 이상의 행동 데이터가 필요하다고 합니다. 하루 8시간씩 움직여 데이터를 쌓는다고 해도 최소 3년5개월 이상이 걸리는 셈이죠.
합성 데이터는 시뮬레이션을 통해 가상의 상황을 만들어내고 이 결과를 학습 데이터로 사용하는 방식입니다. 가령 자율주행 기술을 개발하는 기업들이 폭우나 역광 등 다양한 도로 여건을 가정합니다. 이 때 갑자기 보행자가 뛰어나오는 변수를 실제 상황에서 경험하는 대신 시뮬레이션으로 학습시키는 것으로 이해할 수 있는데요.
실 데이터보다 훨씬 다양한 상황과 조건에서 시뮬레이션을 통한 행동 데이터를 얻을 수 있습니다. 향후 피지컬 AI의 학습 데이터는 합성 데이터가 80~90% 이상 차지할 것으로 예상됩니다.
배 부총리가 "시뮬레이션 환경을 잘 구성해서 목적 별로 가상의 합성 데이터를 만들어내는 것이 중요하다"고 말한 이유죠.
시뮬레이션 한계 극복하는 월드모델
문제는 시뮬레이션 결과가 현실과 다를 수 있다는 점입니다. 모든 물체의 성질이 각각 다르고 자그마한 외부 환경도 행동 결과에 영향을 줍니다. 시뮬레이션 자체가 현실을 100% 반영한다고 보기는 어렵다는 의미죠.
이 같은 문제를 해결하는 게 월드모델입니다. 중력과 마찰, 유체역학 등 물리 법칙을 이해하고 현실과 최대한 가까운 가상 환경을 만들어 행동 데이터를 학습하는 AI인데요.
월드모델의 가장 큰 역할은 '미래를 예측'하는 것입니다. 로봇이 행동하기 전 여러 시나리오를 빠르게 돌려보고 가장 좋은 방법을 고르는 방식인데요. 데이터 생성과 시뮬레이션, 의사결정까지 월드모델이 담당하는 것이죠.
대표적인 월드모델은 엔비디아의 코스모스입니다. 코스모스는 텍스트, 이미지, 영상 등을 넣으면 현실과 유사한 가상 환경을 무한히 만듭니다. 단순히 가상 환경을 만드는 게 아니라 물체 움직임과 공간적 관계, 상호작용을 이해하고 미래 상황을 예측하죠. 또 가상에서 학습한 내용이 실제 상황에서도 잘 작동할 수 있도록 시뮬레이션의 현실 전환 기능도 갖췄습니다.
코스모스는 오픈소스로 공개돼 주요 로봇 기업들이 코스모스를 기반으로 로봇을 훈련시키고 있는데요. 월드모델이 만들어낸 합성 데이터를 학습해 로봇을 움직이게 하는 로봇 파운데이션 모델을 만들고, 이를 로봇에 탑재하는 구조입니다.
로봇 파운데이션 모델의 성능은 어떤 합성 데이터를 학습했는지에 따라 달라질 수 있습니다. 합성 데이터를 만드는 월드모델이 중요한 이유입니다.
데이터 주권과 '피지컬 AI 1강'의 조건
정부는 피지컬 AI 파운데이션 모델과 월드모델 개발을 동시에 진행한다는 계획입니다. 특히 우리만의 월드모델 개발 필요성을 강조하고 있는데요. 데이터 주권 때문입니다.
피지컬 AI를 우리 공장에 적용하려면 국내 제조 데이터가 필요합니다. 만약 해외 월드모델을 쓴다면 대한민국이 세계를 쥐락펴락하는 반도체 공정, 조선소 용접 기술, 원전 운용 데이터 같은 핵심 기술을 해외 플랫폼에 통째로 넘겨줘야 할지도 모릅니다. 치명적인 기술유출 우려가 생기는 것이죠.
생성형 AI 시장에선 우리나라가 후발주자인 게 사실입니다. 하지만 피지컬 AI는 격차가 크지 않은 만큼 해볼만 한 상황입니다. 특히 우리나라는 반도체와 자동차, 조선과 방산 등 글로벌 시장에서 경쟁력을 갖춘 제조 현장이 있는데요. 여기에서 나오는 행동 데이터는 피지컬 AI를 학습시킬 수 있는 원석과도 같습니다.
우리가 개발한 월드모델에서 제조 현장 데이터를 기반으로 합성 데이터를 만들고, 이를 학습한 로봇 파운데이션 모델을 탑재한 로봇이 현장에 투입한다는 게 정부의 청사진인데요.
데이터 확보가 피지컬 AI 패권 경쟁을 결정지을 것으로 보입니다. 피지컬 AI 1강의 꿈, 현실이 될지 지켜보면서 응원해봅니다.
