AI 인프라 전문기업 씨이랩(대표 윤세혁·채정환, 189330)이 AI 추론(Inference) 효율성을 대폭 강화한 GPU 클러스터 관리 솔루션 ‘AstraGo 2.1(아스트라고)’을 출시했다고 1일 밝혔다.
최근 구글이 공개한 ‘터보퀀트(TurboQuant)’와 같은 추론 효율화 기술이 등장하면서 AI 인프라의 핵심 관심사가 '더 큰 모델의 학습'에서 '더 효율적인 추론의 운영'으로 이동하고 있다. 추론 비용이 낮아질수록 운영해야 할 추론 워크로드의 수와 복잡도는 높아지며, 이를 안정적으로 수용하는 인프라 운영 역량이 경쟁력의 기반이 되고 있다.
이번에 출시된 AstraGo 2.1은 GPU 분할 기술을 활용해 하나의 물리적 GPU를 다수의 추론 워크로드에 격리·할당하고, 학습과 추론을 동일 클러스터에서 병행 운영할 수 있도록 설계됐다. 실시간 응답이 중요한 추론 워크로드에 대해 GPU 자원을 우선적으로 배분하고, 다른 학습·배치 작업과의 충돌을 최소화함으로써 안정적인 AI 서비스 운영 환경을 지원한다.
또한 AstraGo 2.1은 기존 워크스페이스 기반 멀티테넌트 구조를 유지하면서, 조직 및 서비스 단위로 자원 할당과 사용 이력을 분리 관리할 수 있도록 설계돼 엔터프라이즈 환경에서도 안정적이고 예측 가능한 추론 서비스 운영이 가능하다.
씨이랩은 이번 2.1 출시를 통해 AstraGo를 ‘AI 인프라 운영 플랫폼’으로 자리매김하겠다는 전략이다. 특히 온디바이스 AI와 실시간 AI 서비스 확산으로 추론 수요가 폭발적으로 증가할 것으로 예상되는 만큼, 추론 최적화 기술을 중심으로 글로벌 시장 경쟁력을 강화할 방침이다.
윤세혁 씨이랩 대표는 "AI 인프라의 경쟁력이 ‘GPU 규모'에서 ‘GPU 운영'으로 확장되고 있다"라며 "AstraGo 2.1은 학습과 추론을 하나의 운영 체계에서 다루는 플랫폼으로, 고객이 동일한 인프라에서 더 많은 AI 서비스를 운영할 수 있도록 지원한다”고 밝혔다. 이어 “추론 인프라 운영 기술을 지속 고도화해 글로벌 AI 인프라 플랫폼 시장에서 경쟁력을 확보해 나가겠다”고 강조했다.
|
[영상] 비싼 메모리 시대에 램버스 실패로 알아보는, AI 시대 메모리 확보 전쟁의 끝은? [PC흥망사 17-2] 
