오라클이 오라클 클라우드 인프라스트럭처 생성형 AI(Oracle Cloud Infrastructure Generative AI) 서비스를 제한적으로 출시한다고 발표했다. 새로운 생성형 AI 서비스는 대규모 언어 모델(LLM)을 지원해 기업의 엔드투엔드 비즈니스 프로세스 자동화, 의사결정 과정 개선, 고객 경험 향상 및 안전한 데이터 보호를 지원할 예정이다.
기업용 AI 플랫폼 제공 선도업체인 코히어(Cohere)와의 협업을 통해 OCI 상에 구축된 OCI 생성형 AI 서비스는 사용자가 가용한 API를 통해 LLM을 자체 애플리케이션에 통합할 수 있도록 지원하는 관리형 서비스다. 정식 출시 이후 해당 서비스와 코히어 모델은 사전 학습된 LLM과 독점 비즈니스 데이터를 결합하여 더 높은 정확도로 응답을 제공하는 생성형 AI 기술인 검색 증강 생성(retrieval augmented generation; RAG)을 제공하는 오라클 데이터베이스 23c(Oracle Database 23c)의 기능인 AI 벡터 검색(AI Vector Search)과 원활하게 작동할 예정이다. 또한, OCI 생성형 AI 서비스는 오라클 퓨전 클라우드 애플리케이션 제품군(Oracle Fusion Cloud Applications Suite), 오라클 넷스위트(Oracle NetSuite) 등 오라클의 서비스형 소프트웨어(SaaS) 애플리케이션 제품군과 오라클 서너(Oracle Cerner) 등 산업용 애플리케이션 전반에 내장될 생성형 AI 기능의 기반이 될 예정이다.
저렴한 비용과 더불어 안전하고 빠른 AI 인프라스트럭처를 제공하는 OCI는 고객이 코히어의 모델을 기업용 사용 사례에 특화된 관리형 서비스로써 활용할 수 있게 지원할 예정이다. OCI 생성형 AI 서비스를 사용하는 고객은 오라클의 독보적인 AI 수퍼클러스터 아키텍처 기반 전용 인프라스트럭처에서 워크로드를 실행할 수 있으며, 이를 통해 고객은 자체 데이터로 모델을 미세 조정하거나 자체 커스텀 모델을 배포하는 데에 필요한 비용 및 처리량 요구 사항을 직접 관리할 수 있게 된다.
새로운 OCI 생성형 AI 서비스에는 다음과 같은 모델이 포함된다:
명령(Command): 명령 모델은 사용자의 요청(prompt)을 바탕으로 텍스트를 생성한다. 2가지 크기로 제공되는 명령 모델은 텍스트 생성, 텍스트 요약, RAG, 채팅 등 비즈니스 사용 사례에 따라 고도의 맞춤 설정이 가능하다.
요약(Summarize): 요약 모델은 텍스트 요약을 수행하며, 사용자가 다양한 매개변수를 사용해 그 결과를 구성하여 고유의 사용 사례를 지원할 수 있게 한다. 예를 들어, 법무팀을 위해서는 복잡한 문서를, 고객 서비스 담당자들을 위해서는 기술 지원 문서를, 바쁜 직원들을 위해서는 긴 이메일 내용을 요약한다.
임베드(Embed): 텍스트를 표현하는 임베드 모델은 텍스트를 모델이 이해할 수 있는 숫자 벡터로 전환한다. 해당 기능은 시맨틱 검색, 텍스트 분류, RAG용 검색 엔진, 레거시 검색 개선 등을 포함한 광범위한 사용 사례를 위한 영어 및 100개 이상의 다국어 모델을 제공한다.
오라클 AI는 OCI 생성형 AI 서비스 외에도 다음과 같은 여러 제한적으로 이용가능한 프로그램을 통해 기존 서비스에 향상된 기능을 지속적으로 추가하고 있다.
오라클 디지털 어시스턴트(Oracle Digital Assistant): 고객은 추가된 생성형 AI 기능을 활용해 LLM 및 기타 생성형 기능을 기존의 디지털 어시스턴트에 통합할 수 있다. 개발자들 역시 생성형 AI를 사용해 디지털 어시스턴트를 보다 빠르고 효율적으로 구축할 수 있다.
OCI 언어 헬스케어 NLP(OCI Language Healthcare NLP): 자연어 처리로 헬스케어 관련 인사이트를 추가하는 기능이다. OCI 언어(OCI Language) 서비스에 포함된 이 기능은 의료 현장에서의 언어 처리 개선에 도움을 주며, 임상 노트, 환자 경과 기록, 전자 건강 기록 등 다양한 기록에 포함된 의료 용어와 관계, 개체 등을 파악하는 데 유용하다.
OCI 언어 문서 번역 경험(OCI Language Document Translation Experience): 워드(Word), PPT, HTML, JSON, 엑셀(Excel) 등 광범위한 형식을 지원하는 새로운 문서 번역 기능으로, 다양한 유형의 파일 내 콘텐츠가 손상 없이 유지되고 번역되도록 지원한다.
OCI 비전(OCI Vision): 얼굴 인식(Facial Detection) 기능이 추가됐으며, 이미지 내 얼굴과 얼굴의 특징을 인식하고 OCI 비전 사용 사례를 확대한다.
OCI 스피치(OCI Speech): 화자 분할(diarization) 기능이 추가돼 화자의 정보를 오디오 내 전사된 섹션에 포함할 수 있다. 화자 분할은 OCI 스피치 기능이 발화된 대화로부터 의미 있는 정보를 정리, 분석, 추출하는 유용한 도구로 활용될 수 있게 한다.
OCI 데이터 과학(OCI Data Science): 데이터 과학 팀이 개발한 기능을 관리하는 데 사용되는 중앙 저장소인 기능 저장소(Feature Store)가 추가됐다. 기능 저장소는 기능들을 세밀하게 문서화, 공유, 저장 및 제공할 수 있는 일관된 프레임워크를 제공한다.
[영상] 엔비디아에 대응하는 인텔 가우디3/AMD MI300/범클라우드 진영의 NPU/,그리고 AI 하드웨어 개발 흐름과 추세는? 
