서울 한복판에 엔비디아의 B200 그래픽처리장치(GPU) 7656장이 돌아가고 있다. 양평동에 위치한 NHN의 인공지능 데이터센터(AIDC) '팩토리X 서울'이다.
지난 6일 찾은 팩토리X 서울은 고성능 컴퓨팅 인프라인 만큼 입장부터 심상치 않았다. 보안이 최우선으로 스마트폰 카메라에 스티커를 붙이는 것부터 시작했다. 엘리베이터를 찾는데도 잠깐 헤맸다. 철문을 하나 열고 들어가야 엘리베이터가 있었다. 와이파이도 이용할 수 없어 핫스팟 테더링을 통해서 겨우 인터넷에 접속할 수 있었다.
이곳은 과학기술정보통신부와 정보통신산업진흥원(NIPA)의 'AI 컴퓨팅자원 활용 기반 강화 사업'을 통해 조성됐다. NHN클라우드는 GPU 구매대행과 인프라 구축, 향후 5년간 운영을 맡았다.
글로벌 20·40위 GPU 서버가 이곳에
팩토리X 서울은 GPU를 포함해 관련 장비 등 모든 인프라 자산이 전액 국가 소유다. NHN클라우드가 GPU를 구매하고 인프라를 구축했지만 국가로부터 지원받지 않았다. 대신 전체 자원의 약 20%에 대한 이용권을 확보했다.
NHN클라우드는 3층부터 6층까지 활용하고 있다. 3·4층은 510노드(4080장)가 하나의 클러스터(NIPA-CL1)로 통합 운영된다. 노드는 GPU 서버 1대를 뜻한다. 5층에는 255노드(2040장)의 또 다른 클러스터(NIPA-CL2)가 구성돼 있다.
3층에서 5층까지 두 개의 클러스터는 정부 몫이다. 학계와 연구소, 산업체 등에 공급된다. AI 모델의 급속한 확산으로 연산 수요가 급증하면서 서버를 이용하려는 곳들도 많다. 특히 정부가 공급하는 서버는 학교와 연구소는 무상으로, 일반 기업은 시중가격의 10분의 1 수준이라 신청 경쟁률이 최대 20대 1에 달한다.
정부가 야심차게 추진하고 있는 '독자 인공지능(AI) 파운데이션 모델'도 이곳 서버를 이용할 것이라는 게 NHN클라우드 설명이다.
NHN클라우드는 6층의 192노드를 이용하고 있다. 자체 AI 서비스 개발과 GPU서비스(GPUaaS) 판매용으로 운영 중이다. 이 물량도 이미 전량 판매가 완료됐다.
NHN클라우드가 운영하는 서버의 성능도 입증됐다. 510노드와 255노드는 글로벌 슈퍼컴퓨터 성능 평가 지표인 'TOP500'에 이름을 올렸다. 510노드는 글로벌 20위이자 국내 최고 순위, 255노드는 글로벌 40위를 기록했다.
'수랭식 적용' 고밀도 GPU 안정적 운영
데이터센터의 핵심은 GPU를 가동시킬 수 있는 전력을 확보하는 것과 함께 GPU가 연산 과정에서 뿜어내는 고열을 어떻게 식히느냐다.
팩토리X 서울은 고성능 GPU 발열 관리를 위해 수랭식 직접 냉각(DLC) 방식을 전면 도입했다. 냉각수가 서버 내부의 GPU와 중앙처리장치(CPU)에 직접 닿는 콜드 플레이트를 통해 열을 흡수하는 형태다.
공기의 순환으로 열을 식히는 공랭식이 아닌 수랭식을 택한 것은 고성능 GPU가 집적된 AI 컴퓨팅 환경에 대응하기 위해서다. 수랭식은 공랭식에 비해 전력 소비는 적지만 물로 열을 식혀야 하는 구조를 만들어야 해 초기 투자 비용과 시간이 훨씬 더 소요된다.
이일준 NHN클라우드 기술사업부 부장(이사)은 "팩토리X 서울이 같은 프로젝트의 다른 데이터센터보다 늦게 가동을 시작한 것도 수랭식 구조를 갖추기 위해서였다"고 말했다.
데이터센터에서 발생하는 열의 90% 가량은 GPU와 CPU에서 나온다. 팩토리X 서울의 경우 GPU와 CPU는 수랭으로, 메모리와 네트워크 카드 등 나머지 부품은 공랭식으로 처리하는 구조다.
이일준 부장은 "공랭식 데이터센터는 GPU를 50~70℃에서 운영하는데 이곳은 48~50℃로 운영하고 있다"며 "GPU는 70℃를 넘으면 스스로 연산량을 줄이는 보호 기능이 작동하는 만큼 낮은 운영 온도를 유지할수록 최대 성능을 안정적으로 낼 수 있다"고 설명했다.
NHN클라우드가 이용하는 6층, 실제 GPU가 집적된 랙(Rack)이 위치한 곳에 들어갔다. 랙은 서버를 층층이 쌓아 담는 캐비닛으로 이곳에선 1개의 랙에 B200 서버 6대가 들어간다. 무게만 1.3톤, 구축 비용은 랙 1개당 약 60억원이 든다.
노트북만 오래써도 뜨거워지고, 이를 식히기 위한 팬(Fan) 소리가 요란한데, GPU가 한 곳에 모인 곳임에도 생각보다 온도가 높지 않았다. 요즘같은 습하고 무더운 날씨에 비하면 쾌적한 느낌이다.
또 공랭식으로는 랙 근처에선 대화가 불가능할 정도의 소음으로 둘러 쌓이지만 수랭식에선 소음은 시끄러워도 대화는 가능한 수준이었다.
AIDC 시대, 운영 경험 쌓는 NHN
NHN클라우드는 지난 2023년 11월 광주광역시에 국가 AIDC를 열고 3년째 운영하고 있다. AI 컴퓨팅자원 사업을 수주하는 과정에서도 이 부분을 강조했다. 전략은 주효했고 가장 많은 물량을 배정받았다. 팩토리X 서울은 광주 AIDC의 결과물인 셈이다.
AI 모델 발전과 함께 이를 구동할 GPU 성능도 함께 발전한다. 필연적으로 발열량도 더 늘어날 수밖에 없다. 앞으로 데이터센터에선 수랭식 적용이 필수가 될 것으로 보이는데, 이 부분 역시 팩토리X 서울에서 NHN이 운영 노하우를 습득하고 있는 셈이다.
최근 정부가 AI 인프라를 반도체, 피지컬 AI 등을 국가 3대 전략산업으로 지정하고 대규모 투자 계획을 발표했다. AIDC를 둘러싼 국내 정책·투자가 확대되는 흐름 속에서 NHN클라우드가 고밀도 GPU 데이터센터 운영 경험을 쌓아온 점은 눈여겨 볼만 하다.
이일준 부장은 "갈수록 줄어들겠지만 현 시점에선 대규모 GPU 자원을 구축·운영해본 경험은 우리가 제일 많을 것으로 생각한다"고 강조했다.
