| 가드레일 |
입력, 도구 결과, 도구 호출, 출력을 검사해 막거나 고치는 장치 |
| 가림(redaction) |
민감한 값을 지우거나 별표 등으로 바꾸는 처리 |
| 가명 처리 |
추가 정보 없이는 특정 개인을 알아볼 수 없게 바꾸는 처리 |
| 간접 인젝션 |
모델이 사용자를 대신해 읽는 문서·웹·메일·도구 결과 속 지시가 동작을 바꾸는 것 |
| 감사 로그 |
누가, 언제, 어디서, 무엇을 했는지 사고 조사에 쓸 수 있게 남긴 기록 |
| 검색 증강 생성(RAG) |
검색한 문서 조각을 컨텍스트에 넣어 답하게 하는 방식 |
| 경계 사례 |
공격처럼 보이지만 정상인 요청처럼 판정 기준을 시험하는 평가 사례 |
| 공격 통과율 |
공격 시도 가운데 방어를 통과해 목표를 이룬 비율. 공격 성공률이라고도 한다 |
| 공격 표면 |
외부에서 온, 믿을 수 없는 내용이 모델이나 시스템에 닿을 수 있는 입구 전체 |
| 공급망 |
모델, 가중치 파일, 어댑터, 패키지, 플러그인, MCP 서버 등 외부에서 들여오는 구성 요소의 경로 |
| 과도한 대리권 |
필요 이상의 기능·권한·자율성 때문에 잘못된 출력이 해로운 행동으로 이어지는 취약점. OWASP LLM06:2025 |
| 교전 규칙 |
레드팀의 대상, 환경, 데이터, 허용·금지 행위, 중단 조건, 보고 체계를 정한 합의 |
| 교차 문맥 유출 |
여러 사용자 집단이 공유하는 저장소에서 한 집단의 데이터가 다른 집단에게 나가는 것 |
| 권한 인식 검색 |
검색 단계에서 요청자 권한에 맞는 문서만 돌려주는 방식 |
| 답변 오염 |
유출 없이 추천·요약·판단이 공격자 의도대로 비틀리는 피해 |
| 데이터 흐름도(DFD) |
외부 개체, 처리, 저장소, 흐름, 신뢰 경계로 시스템을 그린 그림 |
| 레드팀 |
허가된 범위에서 자기 시스템을 의도적으로 공격해 결함을 찾는 구조화된 시험 활동 |
| 메모리 오염 |
저장된 요약, 메모리, 색인을 오염시켜 이후 판단을 비트는 위험. OWASP ASI06 |
| 모델 추출 |
대량 질의로 출력을 모아 모델의 기능을 복제하려는 시도 |
| 목표 탈취 |
외부 콘텐츠나 위조된 메시지가 에이전트가 추구하는 목표 자체를 바꿔 이후 단계 전체를 끌고 가는 위험. OWASP ASI01 |
| 무해성 선별 |
경량 모델로 입력을 주 모델 앞에서 분류하는 패턴 |
| 무제한 소비 |
통제되지 않은 추론 요청으로 서비스 거부, 비용 손실, 모델 탈취가 생기는 위험. OWASP LLM10:2025 |
| 부적절한 출력 처리 |
모델이 낸 결과를 화면, DB, 셸 같은 다음 단계가 해석하기 전에 검증하거나 인코딩하지 않는 결함. OWASP LLM05:2025 |
| 분류기 |
가드레일의 판정 엔진. 규칙, 전용 분류 모델, LLM 선별이 있다 |
| 사람 확인(HITL) |
영향이 큰 행동을 사람이 승인해야 실행되게 하는 통제 |
| 상태 핸들 |
MCP 서버가 여러 호출에 걸친 상태를 가리키려고 발급하는 식별자. 인증 수단이 아니다 |
| 서버 측 요청 위조(SSRF) |
서버가 공격자가 고른 주소로 요청을 보내 내부 자원에 닿게 되는 공격 |
| 시스템 프롬프트 유출 |
시스템 프롬프트에 둔 비밀이나 통제 논리가 드러나는 위험. OWASP LLM07:2025(2026년판은 Hidden Context Exposure로 확대) |
| 신뢰 경계 |
신뢰 수준이 다른 데이터나 구성 요소가 만나는 지점 |
| 연쇄 실패 |
하나의 결함이 에이전트와 파이프라인을 따라 번지며 커지는 위험. OWASP ASI08 |
| 오차단율 |
정상 요청 가운데 방어에 잘못 막힌 비율 |
| 완전한 중재 |
하위 시스템으로 가는 모든 요청을 모델이 아니라 하위 시스템이 매번 인가하는 원칙 |
| 위험 등록부 |
위협, 경로, 분류, 결정, 잔여 위험과 책임자, 재검토 조건을 기록한 표 |
| 잔여 위험 |
통제를 적용한 뒤에도 남는 위험 |
| 임베딩 역변환 |
임베딩 벡터에서 원문의 상당 부분을 복원하는 공격 |
| 자산 |
피해를 입으면 조직이 곤란해지는 데이터, 자격 증명, 행동 능력, 자원 |
| 지갑 고갈 |
종량제 AI 비용을 부풀려 운영자에게 손실을 주는 공격 |
| 직접 인젝션 |
애플리케이션 사용자의 입력이 모델의 동작을 바꾸는 것 |
| 차단 스위치 |
사고 때 도구, 연결, 기능, 작업 단위로 실행을 멈추는 장치 |
| 최소 자율성 |
필요 없는 곳에 에이전트식 자율성을 두지 않는다는 원칙(Least-Agency) |
| 카나리 |
유출을 판정하려고 평가 세트에 심어 둔 고유한 가짜 비밀값 |
| 탈옥 |
모델이 안전 규약을 무시하게 만드는 것을 노리는 프롬프트 인젝션의 한 형태 |
| 토큰 그대로 넘기기 |
받은 접근 토큰의 대상이 자신인지 확인하지 않고 하위 API에 전달하는 안티패턴(token passthrough). MCP 인가 사양이 금지한다 |
| 토큰화 |
민감한 값을 의미 없는 대체 문자열로 바꾸고 대응표를 따로 보관하는 처리 |
| 트립와이어 |
가드레일이 위반을 감지했을 때 실행을 멈추는 신호(OpenAI Agents SDK 용어) |
| 판정 모델 |
다른 모델의 출력을 채점하는 데 쓰는 모델(LLM 채점자) |
| 페이로드 분할 |
지시를 여러 조각으로 나누어 각각은 무해해 보이게 싣는 기법 |
| 핸드오프 |
한 에이전트가 다른 에이전트에게 대화와 일을 넘기는 호출(OpenAI Agents SDK 용어) |
| 혼동된 대리인 |
권한 있는 중계자가 속아서 다른 주체 대신 권한을 행사하는 문제(confused deputy) |
| 회귀 평가 |
변경 뒤에 과거 사고·발견 사례를 다시 돌려 같은 결함이 없는지 확인하는 평가 |
| 회로 차단기 |
같은 오류가 반복되면 해당 호출을 일정 시간 막아 연쇄를 끊는 장치 |
| AI BOM |
모델, 데이터셋, 어댑터, 구성 등 AI 구성 요소의 목록. CycloneDX ML-BOM이 한 형식이다 |
| MCP |
애플리케이션이 모델에 도구와 데이터를 연결하는 개방형 프로토콜(Model Context Protocol) |
| MITRE ATLAS |
AI 시스템을 노린 공격자의 전술과 기법, 실제 사례를 정리한 MITRE의 공개 자료 |
| NIST AI RMF |
2023년 1월에 나온 NIST의 AI 위험 관리 체계. 네 기능(Govern, Map, Measure, Manage)으로 이루어진다 |
| NIST AI 600-1 |
AI RMF의 생성형 AI 프로필. 생성형 AI 고유 위험과 권장 조치 |
| OWASP Agentic Top 10 |
에이전트 고유 위험 열 가지(ASI01~ASI10). 2026년판 |
| OWASP LLM Top 10 |
LLM 애플리케이션 주요 위험 열 가지. 이 책과 시험은 2025년판 번호를 쓰며, 2026년판 대응은 1장에 있다 |
| Prompt Shields |
사용자 프롬프트 공격과 문서 공격을 탐지하는 Microsoft의 분류 서비스 |
| safety_identifier |
사용자별 오남용 추적을 위해 요청에 붙이는 해시된 사용자 식별 문자열(OpenAI) |
| safetensors |
pickle과 달리 텐서를 안전하게 저장하도록 만든 Hugging Face의 저장 형식 |
| SAIF |
Google의 Secure AI Framework. 여섯 핵심 요소와 위험 지도 |
| STRIDE |
Microsoft가 정리한 위협 분류. Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service, Elevation of Privilege의 머리글자 |
| TOCTOU |
검사 시점과 사용 시점이 달라 그사이 바뀐 조건이 반영되지 않는 문제 |