AgentDoG: A Diagnostic Guardrail Framework for AI Agent Safety and Security

← 📚 이번 주 Weekly Digest로 돌아가기

DD-005 AgentDoG: A Diagnostic Guardrail Framework for AI Agent Safety and Security

arXiv: 2601.18491 기관: AI45Research Upvotes: 120 | Comments: 8 순위: 이번 주 Top 5

---

[Paper Review] AgentDoG: A Diagnostic Guardrail Framework for AI Agent Safety and Security

논문 정보

• arXiv ID: 2601.18491
• 핵심 contribution: AI 에이전트의 안전성을 진단하는 새로운 3D 분류 체계(Taxonomy), 벤치마크(ATBench), 그리고 가드레일 프레임워크(AgentDoG) 제시

---

1. 왜 이 논문이 중요한가?

기존의 가드레일 모델(LlamaGuard 등)은 채팅창의 마지막 답변만 검사했기 때문에, 에이전트가 내부적으로 위험한 도구(Tool)를 사용하거나 환경을 오염시키는 과정을 전혀 감지하지 못했습니다. 이 논문은 에이전트의 행동 **전체 과정(Trajectory)**을 모니터링하고, 위험을 단순히 “위험/안전”으로만 나누지 않고 “어디서(원인), 어떻게(실패 모드), 무엇을(결과)“라는 3차원 구조로 진단하여 투명성을 확보한 최초의 연구입니다.

---

2. 핵심 아이디어 쉽게 이해하기

🏢 일상생활 비유: “은행 창구의 보안팀” vs “영화 속 탐정”

• 기존 가드레일 (은행 창구 직원): 은행 창구에서 나오는 고객의 마지막 말(“돈 다 찾았습니다”)만 듣고 이상이 없는지 확인합니다. 하지만 고객이 창구 앞에서 누군사와 거래하거나 위조지폐를 쓰는 과정은 보지 못합니다.
• AgentDoG (CCTV를 보는 탐정): 은행에 들어와서 나갈 때까지의 **모든 행동(CCTV)**을 추적합니다.
  1. 누가 접근했나? (Source: 은행 직원인 척하는 사기꾼인가?)
  2. 어떻게 행동했나? (Mode: 금고 비밀번호를 알아내려고 설치도를 그렸는가?)
  3. 결과가 어떤가? (Harm: 실제 돈이 빠져나갔는가, 아니면 시도만 했는가?)

이렇게 단순히 “나쁜 사람입니다”라고 경고하는 대신, **“보이스피싱용 스크립트(Where)를 이용해 전화기(HOW)로 조작을 시도하여 금융 사기(WHAT)를 저질렀습니다”**라고 정확한 병명(진단)을 내려줍니다.

⚙️ 단계별 동작 원리

1. 3D 세이프티 택소노미 (Taxonomy) 정의:

   • 위험을 평면적으로 나열하지 않고 직교하는 3가지 축으로 정의합니다.
   • Source (위험의 출처): 사용자 입력(Prompt Injection), 도구 사용(Malicious Tool), 환경 피드백 등.
   • Failure Mode (실패 방식): 권한 남용, 잘못된 계획 수립, 정보 누출 등.
   • Consequence (피해 결과): 시스템 파괴, 재정적 손실, 프라이버시 침해 등.

2. 궤적(Trajectory) 수집 및 분석:

   • 에이전트가 문제를 해결하는 과정의 모든 기록(생각, 도구 호출, 결과)을 입력으로 받습니다.
   • 마지막 답변이 정상적이라도, 중간 과정에서 의심스러운 delete_file 같은 도구 호출이 있었는지 검사합니다.

3. 진단 (Diagnosis):

   • 모델은 해당 궤적을 보고 두 가지를 출력합니다.
   • 이진 판단: Safe (안전) vs Unsafe (위험)
   • 세부 진단: (Source, Mode, Harm) 레이블. 예: (User_Induced, Prompt_Injection, Information_Leak)

🧮 핵심 수식

논문에서는 궤적(Trajectory) $\mathcal{T}$를 다음과 같이 정의합니다.

$$ \mathcal{T} = {t_1, \dots, t_n}, \quad t_i = (a_i, o_i) $$

여기서 $t_i$는 각 단계의 스텝, $a_i$는 에이전트의 행동(Action, 도구 호출 등), $o_i$는 환경의 관찰(Observation)입니다.

안전성 판단은 다음과 같습니다. 과정의 어느 한 스텝이라도 위험하다면 전체를 위험으로 간주합니다.

$$ y = \text{unsafe} \iff \exists i \in {1, \dots, n}, \textsf{Unsafe}(t_i) = \text{True} $$

이어서 세부 진단 결과 $y_{\text{fine}}$은 3차원 레이블로 출력됩니다.

$$ y_{\text{fine}} = (\ell^{\text{risk}}, \ell^{\text{mode}}, \ell^{\text{harm}}) $$

---

3. 실험 결과 분석

📊 벤치마크: ATBench (Agent Trajectory Safety and Security Benchmark)

저자들이 기존 벤치마크의 부족함을 채우기 위해 직접 만든 새로운 평가 데이터셋입니다.

• 규모: 총 500개의 에이전트 궤적 (안전 250개, 위험 250개)
• 복잡성: 평균 8.97턴(Turn)의 긴 대화와 상호작용 포함 (기존은 보통 5턴 미만)
• 다양성: 1,575개의 독특한 도구(Tools) 등장

🏆 성능 비과 (기존 SOTA 대비)

ATBench를 이용해 AgentDoG와 기존 모델들(LlamaGuard 3, Qwen 2.5 Guard 등)을 비교했습니다.

1. 탐지 성능 (Detection Accuracy):

   • 기존 가드레일들은 에이전트의 “중간 행동”을 보지 못해 위험을 안전하다고 오판(False Negative)하는 경우가 많았습니다.
   • AgentDoG는 궤적 전체를 바라보기 때문에 중간에 숨겨진 위험(Prompt injection, Malicious tool use)을 훨씬 정확히 잡아냅니다.

2. 진단 정확도 (Diagnostic Accuracy):

   • AgentDoG는 위험을 단순히 “나쁨”으로 분류하는 것을 넘어, 정확한 원인(Source)과 결과(Harm)를 매핑하는 데 뛰어난 성능을 보였습니다.
   • 이는 “왜 위험한가”를 알려줘야 하는 실제 운영 환경에서 매우 중요한 지표입니다.

---

4. 한계점과 향후 연구 방향

🚫 한계점 (저자 인식)

• 정적 데이터 한계: 현재는 이미 수집된 궤적을 바탕으로 사후 분석(Post-hoc)을 주로 수행합니다. 실시간으로 에이전트 행동을 중단(Interrupt)시키는 것은 연구 범위를 벗어나거나 추가적인 연구가 필요합니다.
• 택소노미의 완전성: 3D 택소노미가 매우 체계적이지만, 끊임없이 진화하는 새로운 유형의 공격(예: 멀티모달 공격 등)을 완벽히 커버하기 위해서는 지속적인 업데이트가 필요합니다.

🚀 향후 연구 방향

• 실시간 인터벤션 (Real-time Intervention): 위험한 행동이 실행되기 직전에 감지하고 즉시 중단시키는 시스템으로 확장.
• 자가 수정 능력 (Self-Correction): 진단 결과를 에이전트에게 피드백하여, 에이전트가 스스로 잘못된 행동을 수정하도록 유도하는 연구.

---

5. 실무 적용 가능성

🛠️ 바로 적용 가능한 분야

• 기업용 AI 코딩 에이전트: 개발자를 돕는 AI가 의도치 않게 중요 코드를 삭제하거나 비밀키를 노출하려 할 때 즉시 차단.
• 금융/보이스피싱 방지 챗봇: 고객 정보를 조회하는 AI 에이전트가 일탈 행위를 하거나 악의적인 프롬프트에 조작될 때 방어.
• 오토마티션 RPA (Robotic Process Automation): 복잡한 업무 자동화 봇이 승인되지 않은 서버에 접근하려는 시도 사전 차단.

💾 필요한 리소스

• GPU: 중간 크기의 LLM(예: Llama-3-8B나 유사한 크기의 Guardrail 모델)을 사용하므로, 일반적인 소비자용 GPU(예: RTX 4090)나 클라우드의 단일 인스턴스에서도 충분히 구동 가능합니다.
• 데이터: 자체 사내 데이터에 적용하려면 해당 도구와 환경에 맞는 궤적 데이터를 수집해 파인튜닝하거나 few-shot 예제를 구성해야 합니다.

---

6. 이 논문을 이해하기 위한 사전 지식

1. LLM (Large Language Model): 텍스트를 이해하고 생성하는 거대 언어 모델의 기초 개념.
2. AI Agent: LLM이 스스로 계획을 세우고 도구(Tool)를 사용하여 목표를 달성하는 자율 시스템.
3. Tool Use / Function Calling: LLM이 외부 API나 계산기, 검색 엔진 등을 호출하여 결과를 받아오는 기능.
4. Trajectory (궤적): 에이전트가 시작해서 끝날 때까지의 상태, 행동, 관찰의 전체 기록 로그.
5. Guardrail (가드레일): AI가 위험하거나 원치 않는 답변을 생성하는 것을 미리 막는 안전장치.
6. Prompt Injection (프롬프트 인젝션): 공격자가 특정 명령을 입력하여 AI의 시스템 프롬프트를 탈취하거나 원치 않는 행동을 유도하는 공격 기법.
7. Taxonomy (분류 체계): 복잡한 대상을 체계적으로 분류하고 정리한 프레임워크.

---

📚 이번 주 관련 Deep Dive

순위	논문	Deep Dive
🥇	Can LLMs Clean Up Your Mess? A Surv…	DD-001
🥈	LongCat-Flash-Thinking-2601 Technic…	DD-002
🥉	Idea2Story: An Automated Pipeline f…	DD-003
4.	daVinci-Dev: Agent-native Mid-train…	DD-004
5.	AgentDoG: A Diagnostic Guardrail Fr…	📍 현재 문서

---

📅 생성일: 2026-02-02 | 🤖 GLM-4.7 Deep Dive