마이크로소프트가 기업 내부에서 활동하는 AI 에이전트를 ‘에이전틱 내부자(Agentic Insider)’로 규정하고, 이를 지속적으로 감독하고 보호하기 위한 보안 접근법을 제시했다.
AI 안전에 대한 우려가 커지고 있다. 최근 몇 달간 공개된 AI 관련 사고 사례는 강력해진 모델을 적절히 관리하지 않을 경우 심각한 위협으로 이어질 수 있음을 보여준다. 글로벌 AI 혁신 경쟁으로 모델이 더욱 강력해지는 만큼, 관련 과제도 한층 복잡해질 전망이다.
기존 AI 보안은 위협 행위자가 강력한 모델을 공격에 활용하는 외부 위험에 주로 초점을 맞춰 왔다. 반면 기업 내부의 AI 에이전트는 조직이 직접 배포했다는 이유로 별도의 검증 없이 신뢰하는 경우가 많았다.
마이크로소프트는 최첨단 모델을 개발 주체나 출처와 관계없이 신뢰해서는 안 된다고 강조했다. 모델은 본질적으로 악의적이지 않지만, 결과 달성을 중심으로 학습되는 과정에서 의도하지 않은 수단을 선택하는 ‘보상 해킹(reward hacking)’이 발생할 수 있다. 개별 조직의 규범이나 판단 기준에 맞춰 최적화돼 있지 않다는 점도 위험 요인이다.
에이전트의 행동도 예측하기 어렵다. 변화하는 상황에 적응하는 과정에서 의도와 다르게 행동할 수 있으며, 침해되지 않은 상태에서도 목표 달성을 위해 다른 에이전트와 협업하거나 공모할 가능성이 있다. 이에 조직이 직접 배포한 에이전트도 지속적으로 감독하고 보호해야 한다는 설명이다.
기업 내부에서 행동하는 에이전틱 내부자
AI 에이전트의 기업 내 활용이 빠르게 확대되고 있다. 이미 기업 전반에 대규모로 배포된 AI 에이전트는 필요 이상의 권한을 보유한 경우가 많으며, 데이터와 도구, 시스템에 접근해 중요한 업무를 수행하거나 의사결정을 내릴 수 있다. 마이크로소프트는 이처럼 기업 운영에 직접 참여하는 AI 에이전트를 ‘에이전틱 내부자’로 규정했다.
이에 따라 에이전트에 대한 모니터링과 보호도 지속적으로 이뤄져야 한다. 에이전트가 무엇을 수행하고 해당 행동이 어떤 위험을 초래하는지 실시간으로 파악하고, 위험 변화에 따라 행동 권한을 조정해야 한다는 설명이다.
이를 위한 가디언 에이전트(Guardian Agents)의 필요성도 제시했다. 가디언 에이전트는 모든 에이전트의 모든 행동을 실행 전에 24시간 감시하고 관리한다.
보호 범위를 에이전트 시스템 전반으로 확대해야 한다는 점도 짚었다. AI 에이전트는 모델과 작업을 조율하는 하니스(harness), 도구와 리소스를 활용해 수행할 수 있는 행동의 범위, 에이전트가 실행되는 런타임으로 구성된다. 이에 따라 ID와 권한, 데이터, 엔드포인트, 네트워크, 클라우드, 런타임 등 여러 계층을 아우르는 보호가 필요하다.
프로젝트 퍼셉션 기반 에이전틱 내부자 관리•통제
프로젝트 퍼셉션(Project Perception)은 마이크로소프트가 지난 7월 발표한 에이전틱 보안 시스템이다. 새로운 사이버 보안 스택과 레드•블루•그린 에이전트 팀을 기반으로 보안 담당자의 신속한 대응을 지원하고, 기업 외부에서 발생하는 AI 기반 공격을 방어한다.
이러한 보안 체계는 기업 내부에서 활동하는 에이전틱 내부자의 관리•통제에도 적용할 수 있다. 프로젝트 퍼셉션은 상황에 따라 결과가 달라질 수 있는 ‘비결정론적 AI 지능’에 사전에 정한 정책과 원칙에 따라 일관되게 작동하는 ‘결정론적 통제’를 적용해, 에이전틱 내부자의 위험한 행동을 억제한다.
프로젝트 퍼셉션은 에이전틱 내부자를 탐지하고 위험을 산정해 대응하는 보호 구조를 세 영역으로 구성한다.
먼저 센서•신호•액추에이터(Sensors, Signals and Actuators) 영역에서는 기업 내 에이전트를 탐지해 관리 체계에 편입한다. ID와 데이터, 클라우드, 엔드포인트, 네트워크, 런타임 등 각 영역의 센서에서 수집한 신호를 결합해 에이전트를 탐지하고, ID와 컨테이너, 정책 및 권한 집합을 부여한다.
맥락(Context) 영역에서는 수집한 신호를 기반으로 에이전트가 시도하는 행동과 관련된 위험을 동적으로 산정한다.
하니스•에이전트•모델(Harnesses, Agents and Models) 영역에서는 동적 에이전트 위험(dynamic agent risk)을 기반으로 지속적인 감독과 대응을 수행한다. 가디언 에이전트 팀은 그린•블루 에이전트와 함께 모든 에이전트의 모든 행동을 능동적이고 지속적으로 감독하며, 위험 수준이 높아지면 필요한 부분에 실시간으로 정밀 대응한다.
실시간 감독 기반 보안 의사결정 강화
프로젝트 퍼셉션은 AI 에이전트의 행동을 실시간으로 감독하고, 발생한 상황과 위험이 나타난 원인을 확인할 수 있는 추적 정보를 제공한다. 보안 담당자는 이를 바탕으로 필요한 판단을 내리고, 보안 시스템을 상황에 맞게 업데이트할 수 있다.
마이크로소프트는 에이전틱 보안의 대응 속도와 보안 담당자의 판단이 상호 보완적으로 작동한다고 설명했다. 에이전틱 보안이 AI 에이전트와 같은 속도로 위험을 파악하고 대응하는 동안, 보안 담당자는 필요한 판단을 바탕으로 보안 정책과 시스템을 상황에 맞게 조정한다. 이를 통해 보안 담당자도 보호해야 하는 시스템과 같은 속도로 대응할 수 있다.
모델 투명성 기반 위협 억제 강화
마지막으로 모델 투명성을 에이전틱 내부자 보호의 다음 단계로 제시했다. 현재 보안 시스템이 에이전트의 행동과 억제 대상을 파악하는 수준을 넘어, 행동의 원인과 해당 행동이 작업 의도에 부합하는지까지 확인할 수 있어야 한다고 강조했다.
이를 위해 모델의 입력과 출력뿐 아니라, 결과를 도출하는 사고•추론 과정까지 투명하게 확인해야 한다. 모델의 의도와 에이전트에 부여된 목적이 일치하는지 파악함으로써, 위험을 보다 정확하게 이해하고 대응할 수 있다는 설명이다.
하예테 갈로트(Hayete Gallot) 마이크로소프트 시큐리티 총괄 수석 부사장은 “AI 에이전트가 기업 전반에 빠르게 확산되면서 데이터와 도구, 시스템에 접근해 중요한 업무를 수행하고 의사결정에도 관여하고 있다”며, “기업은 에이전트의 활동과 위험을 실시간으로 파악하고, 위험 변화에 따라 행동 권한을 지속적으로 조정해야 한다”고 말했다.
[리뷰] 레이 트레이싱과 함께 쾌속 질주,포르자 호라이즌 6 
