엔비디아(www.nvidia.co.kr)가 AI 안전과 사이버 보안을 강화하기 위한 ‘오픈 시큐어 AI 얼라이언스(Open Secure AI Alliance)’의 출범을 발표했다. 엔비디아와 창립 회원사들은 책임 있는 AI 활용과 신뢰도 향상을 지원하는 개방형 모델, 에이전트 하네스와 보안 도구를 공동 개발하고 공유할 예정이다.
오픈소스 소프트웨어는 세계 경제를 지탱하는 핵심 기반이다. 기술을 전문가 커뮤니티가 자유롭게 활용하고 검토할 수 있도록 함으로써 클라우드 컴퓨팅, 금융 서비스, 제조, 통신, 정부와 인터넷 서비스 전반을 뒷받침하고 있다.
사이버 보안은 오픈소스 소프트웨어의 3대 수혜 분야 중 하나다. 리눅스 재단(Linux Foundation)의 아크리테스(Akrites) 이니셔티브와 오픈SSF(OpenSSF) 커뮤니티의 활동을 기반으로 기반으로 하는 오픈 시큐어 AI 얼라이언스는 개방형 기술을 활용해 취약점을 해결하고 공개하는 데 협력할 예정이다.
오픈소스가 소프트웨어를 위한 공동의 기반을 마련했듯, 미국과 파트너 국가들은 이제 AI 보안과 관련한 선택의 기로에 놓여 있다. 인프라를 보호하는 방어 체계를 소수의 불투명한 시스템 안에 둘 것인지, 아니면 모든 보안 담당자가 검토하고 조정하며 배포할 수 있는 개방형 모델과 하네스, 도구를 기반으로 구축할 것인지 선택해야 한다.
세계에는 폐쇄형 모델과 개방형 모델이 모두 필요하다. 특히 사이버 보안 분야에서 개방형 모델과 개방형 하네스는 필수적이다. 방어 역량에 대한 접근성을 확대하고, 보안 담당자를 위한 투명성을 높이며, 데이터를 보호하면서 사이버 방어를 수행할 수 있도록 지원하기 때문이다. 또한 맞춤화와 현지화가 가능한 제어 기능을 통해 최첨단 폐쇄형 모델을 보완한다. 오픈소스는 단일 장애점 없이 커뮤니티가 주도하고 각 조직이 직접 통제할 수 있는 대규모 분산형 방어 체계를 가능하게 한다.
개방형 모델도 다른 강력한 기술과 마찬가지로 악용될 수 있다. 여기에는 안전장치를 약화하거나 기능을 사이버 공격에 전용하려는 시도도 포함된다. 그러나 이러한 위험은 개방형 시스템에만 존재하는 것이 아니며, 첨단 AI가 배포되는 모든 환경에서 관리돼야 한다.
최근 발생한 허깅페이스(Hugging Face) 보안 사고는 사이버 보안 담당자에게 자체 방어를 위한 개방형 최첨단 에이전틱 시스템이 필요하다는 점을 분명히 보여줬다. 당시 공격자와 방어자를 구분하지 못한 폐쇄형 AI 도구가 필수적인 포렌식 분석을 차단하자, 허깅페이스는 자체 인프라에서 오픈 웨이트 GLM 5.2 모델을 실행해 1만7,000건 이상의 활동을 분석하고 침입을 차단했다.
이 사건은 실질적인 사실을 보여줬다. 보안 담당자가 첨단 AI를 직접 검토하고 조정하며 자체 인프라에서 실행할 수 없다면, 신속한 대응이 가장 중요한 바로 그 순간에 대응 역량이 제한될 수 있다. 기업과 국가는 핵심 산업이 멀티벤더 생태계 전반에서 보안 시스템을 구축하고 단일 장애점을 방지할 수 있도록 개방형 최첨단 방어 도구와 기술을 확보해야 한다.
오픈 시큐어 AI 얼라이언스의 사명은 전 세계 보안 담당자들이 신뢰하고 직접 통제할 수 있는 개방형 최첨단 도구를 활용할 수 있도록 하는 것이다.
일각에서는 개방형 모델이 사이버 공격에 악용되거나 가드레일을 제거하도록 수정될 수 있기 때문에 본질적으로 안전성이 낮다고 주장한다. 이러한 위험은 실제로 존재하지만 폐쇄형 시스템에서도 사라지지 않는다. 단순히 모델 가중치를 비공개로 유지한다고 해서 공격자가 강력한 AI를 확보하거나 악용하려는 시도까지 막을 수 있는 것은 아니다.
올바른 대응은 보안 담당자가 강력한 개방형 시스템에 접근하지 못하도록 제한하는 것이 아니다. 개방성과 함께 강력한 안전장치, 악의적 사용을 금지하는 명확한 규칙, 엄격한 평가와 신속한 취약점 대응 체계를 마련해야 한다. 사이버 보안에서 더 안전한 방향은 더 많은 보안 담당자가 사회가 의존하는 시스템을 시험하고 검증하며 강화할 수 있도록 하는 것이다.
보안 담당자에게는 최첨단 폐쇄형 모델과 최첨단 개방형 모델이 모두 필요하며, 두 모델이 함께 작동해야 한다. 이를 통해 보안 담당자는 업무에 적합한 시스템을 선택하고, 보안상 필요한 모든 환경에서 투명성과 맞춤화, 소버린 통제권을 확보할 수 있다.
개방형 연구로 사이버 보안과 AI 안전 강화
AI 에이전트는 단순한 언어 모델이 아니다. 모델과 하네스, 가드레일로 구성된 복잡한 시스템이다.
실질적인 AI 안전과 보안은 모델 가중치가 공개됐는지 또는 비공개됐는지만으로 결정되지 않는다. 아이덴티티, 권한, 하네스, 가드레일, 로그와 평가 등 전체 에이전트 스택에 의해 좌우된다. 개방형 하네스와 도구를 활용하면 더 많은 보안 담당자가 이러한 제어 체계를 보다 쉽게 검토하고 테스트하며 개선할 수 있다.
엔비디아는 새로운 사이버 보안 도구와 기술 개발을 가속하기 위해 오픈 시큐어 AI 얼라이언스에 개방형 모델과 모델 가중치, 데이터, 새로운 에이전트 하네스 연구를 제공한다.
새로운 오픈소스 엔비디아 랩스 객체 지향 에이전트(NVIDIA Labs Object-Oriented Agent, NOOA) 프로젝트도 현재 깃허브(GitHub)를 통해 이용할 수 있다. 이를 통해 에이전트 하네스에서 고급 AI 안전 기능에 대한 접근성을 높일 수 있다. NOOA 연구 프레임워크는 하네스가 모델과 더욱 효과적으로 통합되도록 지원해 에이전트의 행동을 보다 쉽게 테스트하고 추적, 감사, 관리할 수 있도록 한다.
얼라이언스 참여사들은 아이덴티티와 격리부터 안전한 모델 형식, 멀티모델 스캐닝과 보안 코딩 워크플로우에 이르는 개방형 에이전트 방어 스택을 구축하고 있다.
HPE는 SPIFFE/SPIRE에 기여하고 있다. SPIFFE/SPIRE는 AI 에이전트와 서비스의 신원을 암호학적으로 검증할 수 있는 제로 트러스트 아이덴티티 프레임워크 표준과 방식을 마련해, 승인된 워크로드만 통신하고 엔터프라이즈 자원에 접근하도록 지원한다.
허깅페이스는 AI 모델 가중치를 안전하게 저장하는 형식인 세이프텐서(Safetensors)를 파이토치 재단(PyTorch Foundation)에 제공했다. 세이프텐서는 투명성을 제공하며 원격 코드 실행이 발생하지 않는다는 보장을 제공한다.
IBM과 레드햇의 라이트웰(Lightwell)은 디지털 서명된 패치를 통해 오픈소스 공급망 전반으로 보안을 확장한다.
마이크로소프트의 MDASH 멀티모델 에이전틱 스캐닝 하네스는 여러 전문 AI 에이전트를 조정해 실제로 악용 가능한 버그를 발견하고, 토론하며, 입증한다.
스페이스XAI는 신뢰성과 투명성을 높이고 새로운 기능 개발을 촉진하기 위해 터미널 기반 AI 코딩 에이전트인 그록 빌드(Grok Build)를 오픈소스로 공개했다. 또한 개발자와 연구 커뮤니티를 지원하기 위해 그록 모델 제품군의 가중치를 오픈소스로 공개할 계획이다.
정책 입안자와 규제 당국에 대한 제언
정책 입안자와 규제 당국이 AI 안전 문제를 다루는 과정에서는 개방형 모델과 하네스, 보안 도구를 AI와 사이버 보안 정책의 위험 요소가 아닌 방어 자산으로 인식하는 것이 중요하다. 최첨단 개방형 AI 시스템을 일괄적으로 제한하면 방어 역량이 약화되고, 소수의 폐쇄형 제공업체에 권한과 의존도, 취약성이 집중될 위험이 있다.
기업과 정부는 과거 세대가 오픈소스 소프트웨어에 투자했던 것처럼 데이터세트, 평가 프레임워크, 공격 시뮬레이터와 레드팀 도구 등 AI 방어를 위한 공동의 개방형 인프라에 투자해야 한다.
함께 만들어야 할 미래
AI 에이전트 시대는 회복탄력성과 공동의 보안을 강화하는 시대가 될 수 있다. 올바른 선택을 한다면 개방형 보안 AI 시스템은 보안 담당자에게 필요한 도구를 제공하고, 경쟁을 강화하며, 기술 리더십을 확대하고, 이 혁신적인 기술의 안전과 보안이 모두를 위해 개방된 환경에서 구축되도록 할 수 있다.
이러한 미래는 기밀성만으로 안전이 보장된다고 가정해서는 확보할 수 없다. 철저한 검증을 견딜 만큼 강력하고, 개선할 수 있을 만큼 유연하며, 모든 보안 커뮤니티의 역량을 결집할 수 있을 만큼 개방적인 시스템을 구축해야 한다.
이는 함께 만들어갈 가치가 있는 미래다. 오픈 시큐어 AI 얼라이언스는 정부와 산업계, 연구자들이 AI 시대를 함께 보호하는 노력에 동참할 것을 제안한다.
오픈 시큐어 AI 얼라이언스에 대한 자세한 내용을 확인하거나 참여 의향을 제출할 수 있다.
[영상] NVIDIA RTX SPARK는 인텔과 AMD의 X86 노트북 시장을, AI를 무기로 정복할 수 있을까? 
