KT클라우드가 AI(인공지능) 추론에 특화된 고성능 GPU(그래픽처리장치) 인프라를 이용할 수 있는 서비스를 선보였다. 슬라이싱(분할) 기술을 활용해 비용 부담을 대폭 낮추면서도 성능 저하 없이 이용할 수 있다는 게 특징이다.
KT클라우드는 슬라이싱 기술을 엔비디아 GPU에 적용한 AI 추론 전용 인프라 서비스 'AI SERV(AI 서브)'를 출시했다고 16일 밝혔다.
초거대 AI 분야에서 학습 영역은 단기간에 집중적으로 대용량·고사양의 GPU를 필요로 하지만, 추론 영역은 적은 양의 GPU를 끊김없이 상시 이용해야 한다. 그러므로 학습에 사용한 인프라를 추론 인프라로 활용하면 필요 이상의 비용을 부담해야만 했다.
AI 서브는 적용된 슬라이싱 기술은 한 장으로 제공되던 GPU 서비스를 5분할해 0.2장 단위로 제공해 가격 부담을 줄였다. AI 서비스를 제공하는 전문기업이나 스타트업이 고성능 GPU 인프라를 각 서비스에 필요한 만큼만 분할해 효율적으로 이용할 수 있다.
또한 기존의 슬라이싱 기술과 달리 분할된 단위의 GPU에서 성능 열화가 발생하지 않아 인프라를 100% 활용할 수 있다고 KT클라우드는 설명했다. 엔비디아 A100 칩을 활용해 타사의 유사 서비스와 비교해 연산 속도가 빠르고, 쿠다(CUDA) 아키텍처 기반의 높은 호환성과 확장성을 갖고 있다는 점도 강점으로 꼽았다.
KT클라우드는 앞으로 AI 서브에 사용자의 손쉬운 인프라 확장 지원을 위한 모니터링·컨테이너 이미지 클로닝(복제) 기능 등을 추가한다. 또한 트래픽 과부하 시 자동으로 인프라를 확장하는 '오토 스케일링' 기능을 도입할 예정이다.
윤동식 KT클라우드 대표는 "다양한 AI 전문기업, 스타트업들이 부담 없이 AI 인프라를 활용하도록 힘쓰는 한편, 국내외 파트너사와 협력해 초거대 AI 산업의 활성화 및 생태계 확장을 위해 지속 노력할 것"이라고 말했다.
