| 护栏 |
检查输入、工具结果、工具调用、输出并阻止或修改的机制 |
| 脱敏(redaction) |
删除敏感值或替换为星号等的处理 |
| 假名化 |
使信息在没有附加信息时无法识别特定个人的处理 |
| 间接注入 |
模型代替用户阅读的文档、网页、邮件、工具结果中的指令改变模型行为 |
| 审计日志 |
记录谁、何时、何地、做了什么,以供事件调查使用 |
| 检索增强生成(RAG) |
将检索到的文档片段放入上下文以生成回答的方式 |
| 边界案例 |
用于检验判定标准的评估案例,如看似攻击但实际正常的请求 |
| 攻击通过率 |
攻击尝试中穿过防御、实现目标的比例,也称攻击成功率 |
| 攻击面 |
外部不可信内容能够触达模型或系统的全部入口 |
| 供应链 |
模型、权重文件、适配器、软件包、插件、MCP服务器等外部组件的引入路径 |
| 过度代理 |
因超出必要的功能、权限、自主性,使错误输出转化为有害行动的漏洞。OWASP LLM06:2025 |
| 交战规则 |
规定红队目标、环境、数据、允许与禁止行为、停止条件、报告体系的约定 |
| 跨上下文泄露 |
多个用户群体共用存储时,一群体的数据流向另一群体 |
| 权限感知检索 |
在检索阶段只返回符合请求者权限的文档 |
| 答案污染 |
没有泄露,但推荐、摘要、判断按攻击者意图扭曲的损害 |
| 数据流图(DFD) |
用外部实体、处理过程、存储、数据流、信任边界描绘系统的图 |
| 红队 |
在获准范围内有意攻击自有系统,以发现缺陷的结构化测试活动 |
| 记忆污染 |
污染存储的摘要、记忆、索引,扭曲后续判断的风险。OWASP ASI06 |
| 模型提取 |
通过大量查询收集输出,尝试复制模型功能 |
| 目标劫持 |
外部内容或伪造消息改变智能体追求的目标本身,带动整个后续流程的风险。OWASP ASI01 |
| 无害性筛查 |
用轻量模型在输入到达主模型前分类的模式 |
| 无限制消耗 |
不受控推理请求导致拒绝服务、成本损失、模型窃取的风险。OWASP LLM10:2025 |
| 不当输出处理 |
模型结果在被界面、DB、shell等下游解释前,未进行验证或编码的缺陷。OWASP LLM05:2025 |
| 分类器 |
护栏的判定引擎,包括规则、专用分类模型、LLM筛查 |
| 人工确认(HITL) |
高影响行动须经人工批准才执行的控制 |
| 状态句柄 |
MCP服务器签发、用于指代跨多次调用状态的标识符,不是认证手段 |
| 服务端请求伪造(SSRF) |
使服务器向攻击者选择的地址发请求、进而触达内部资源的攻击 |
| 系统提示词泄露 |
系统提示词中的机密或控制逻辑暴露的风险。OWASP LLM07:2025(2026年版扩展为Hidden Context Exposure) |
| 信任边界 |
不同信任级别的数据或组件相遇的位置 |
| 级联故障 |
单一缺陷沿智能体与流水线传播并放大的风险。OWASP ASI08 |
| 误拦截率 |
正常请求中被防御错误阻止的比例 |
| 完全仲裁 |
所有发往下游系统的请求,均由下游系统而非模型逐次授权的原则 |
| 风险登记册 |
记录威胁、路径、分类、决策、残余风险与负责人、复查条件的表格 |
| 残余风险 |
采取控制后仍然存在的风险 |
| 嵌入反演 |
从嵌入向量恢复大量原文的攻击 |
| 资产 |
受损后会使组织陷入困境的数据、凭据、行动能力、资源 |
| 钱包耗尽 |
放大按量计费的AI成本,使运营者受损的攻击 |
| 直接注入 |
应用用户输入改变模型行为 |
| 阻断开关 |
事件发生时,按工具、连接、功能、任务停止执行的机制 |
| 最小自主性 |
不在不必要的位置赋予智能体自主性的原则(Least-Agency) |
| 金丝雀值 |
植入评估集、用于判定泄露的唯一虚构机密值 |
| 越狱 |
以使模型无视安全规范为目的的一种提示词注入 |
| token透传 |
不确认收到的访问token受众是否为自身,就传给下游API的反模式(token passthrough),MCP授权规范禁止该模式 |
| 令牌化 |
将敏感值替换为无意义字符串,并将映射表另行保存的处理 |
| tripwire |
护栏检测违规时使执行停止的信号(OpenAI Agents SDK术语) |
| 判定模型 |
用于为其他模型的输出评分的模型(LLM评分者) |
| 载荷拆分 |
将指令拆成多个片段,使每段看似无害的技术 |
| 任务交接 |
一个智能体将对话与任务交给另一个智能体的调用(OpenAI Agents SDK术语) |
| 混淆代理人 |
有权限的中介受骗,代其他主体行使权限的问题(confused deputy) |
| 回归评估 |
变更后重跑过去事件或发现案例,确认同类缺陷是否仍存在 |
| 熔断器 |
同类错误反复发生时,在一段时间内阻止该调用,以切断传播的机制 |
| AI BOM |
模型、数据集、适配器、配置等AI组件的清单,CycloneDX ML-BOM是其中一种格式 |
| MCP |
应用将工具与数据连接到模型的开放协议(Model Context Protocol) |
| MITRE ATLAS |
MITRE整理针对AI系统的攻击者战术、技术及真实案例的公开资料 |
| NIST AI RMF |
2023年1月发布的NIST AI风险管理框架,由Govern、Map、Measure、Manage四项职能组成 |
| NIST AI 600-1 |
AI RMF的生成式AI配置文件,介绍特有风险与建议措施 |
| OWASP Agentic Top 10 |
智能体十大特有风险(ASI01~ASI10),2026年版 |
| OWASP LLM Top 10 |
LLM应用十大主要风险;本书与考试使用2025年版编号,与2026年版对照见第1章 |
| Prompt Shields |
Microsoft检测用户提示词攻击与文档攻击的分类服务 |
| safety_identifier |
附加到请求中、用于逐用户追踪滥用的哈希用户标识字符串(OpenAI) |
| safetensors |
Hugging Face为安全存储张量设计的存储格式,与pickle不同 |
| SAIF |
Google的Secure AI Framework,包含六个核心要素与风险地图 |
| STRIDE |
Microsoft整理的威胁分类,是Spoofing、Tampering、Repudiation、Information Disclosure、Denial of Service、Elevation of Privilege的首字母缩写 |
| TOCTOU |
检查时与使用时不同,期间条件变化未被反映的问题 |