오케스트로가 GPU 활용도를 높이고 AI 서비스 성능을 개선하기 위한 추론 인프라 최적화 전략을 공개한다.
AI 인프라 소프트웨어 전문 기업 오케스트로(대표 김범재, 김영광)는 오는 10월 27일 오후 2시 ‘AI 서비스 성능 개선, GPU부터 더 사야 할까?’를 주제로 온라인 웨비나를 개최한다고 26일 밝혔다.
생성형 AI가 산업 전반으로 확산되면서 모델 학습뿐 아니라 추론(Inference)과 서비스 운영의 중요성이 커지고 있다. 기업들이 GPU 확보에 투자를 늘리고 있지만, AI 서비스 운영 과정에서는 낮은 GPU 활용률과 응답 지연, 비용 부담 등의 과제가 여전히 남아 있다.
특히 에이전틱 AI(Agentic AI)가 확산되면서 하나의 작업을 수행하기 위해 AI 모델을 여러 차례 호출하는 사례가 늘고 있다. 이 과정에서 입력 처리와 답변 생성이 동일한 GPU 자원을 사용하면 작업 간 경합이 발생해 응답이 지연될 수 있다. 이를 해결하려면 추론 과정의 병목을 줄이고 GPU 자원을 효율적으로 운영하는 기술이 필요하다.
이번 웨비나에서는 AI 추론 인프라의 주요 과제를 살펴보고, 오케스트로의 ‘콘체르토 AI(CONCERTO A.I.)’를 활용한 분산 추론 및 GPU 자원 최적화 방안과 성능 검증 결과를 소개할 예정이다.
‘콘체르토 AI’는 대규모 언어모델(LLM)의 입력 처리(Prefill)와 답변 생성(Decode) 단계를 분리해 GPU 자원 간 경합을 줄이고 추론 성능을 최적화하는 AI 추론 운영 플랫폼이다. 복잡한 추론 인프라의 구축과 배포를 자동화하고, 성능 모니터링 기능을 통합 제공해 AI 서비스의 운영 효율을 높인다.
성능 검증 결과, 콘체르토 AI는 기존 모델 서빙 방식과 동일한 GPU 자원을 사용하면서도 고부하 환경에서 처리량을 62.8% 높이고, 토큰 생성 지연을 52.1% 줄인 것으로 나타났다.
이와 함께 넷앱(NetApp)의 스토리지 기술을 연계한 AI 인프라 최적화 성과도 공개한다. GPU 다이렉트 스토리지(GPUDirect Storage, GDS) 기반 KV 캐시 오프로딩으로 GPU 메모리 부담을 줄이고 동시 사용자 처리 효율을 높인 사례를 소개한다. 모델 로딩 최적화를 통해 AI 모델 가중치 로딩 시간을 기존 71초에서 8초로 줄였으며, 기동 과정 최적화로 신규 서버의 서비스 투입 시간도 187초에서 80초로 단축했다.
오케스트로는 콘체르토 AI를 통해 기업의 AI 서비스 개발부터 운영까지 지원하고, 인프라 운영 효율을 높여갈 계획이다. 추론 최적화를 기반으로 AI 개발 환경과 모델 운영·관리, 통합 모니터링까지 기능을 확장하고, 엔비디아 GPU와 국산 NPU 등 다양한 하드웨어를 지원해 기업의 독립적인 AI 인프라 운영도 뒷받침할 방침이다.
오케스트로 그룹은 소버린 AI 인프라 분야에서도 협력을 확대하고 있다. 계열사인 오케스트로 클라우드는 퓨리오사AI, 업스테이지 등 4개사와 업무협약(MOU)을 체결하고, 국산 NPU 기반 ‘소버린 AI 풀스택 어플라이언스’ 공동 개발을 추진하고 있다.
웨비나는 10월 27일 오후 2시부터 올쇼TV를 통해 온라인으로 진행된다. 참가비는 무료이며, 사전 등록 후 참여할 수 있다.
김범재 오케스트로 대표는 “AI 시대에는 GPU를 얼마나 많이 확보하느냐보다 보유한 자원의 성능을 최대한 끌어내는 운영 역량이 중요해지고 있다”며 “이번 웨비나에서는 콘체르토 AI의 기술력과 성능 검증 결과를 공유하고, 기업들이 GPU 투자 효과를 높이고 AI 서비스를 안정적으로 운영할 수 있도록 실질적인 해법을 제시하겠다”고 말했다.
[영상] NVIDIA RTX SPARK는 인텔과 AMD의 X86 노트북 시장을, AI를 무기로 정복할 수 있을까? 
