附录 A 术语表

术语 含义
护栏 检查输入、工具结果、工具调用、输出并阻止或修改的机制
脱敏(redaction) 删除敏感值或替换为星号等的处理
假名化 使信息在没有附加信息时无法识别特定个人的处理
间接注入 模型代替用户阅读的文档、网页、邮件、工具结果中的指令改变模型行为
审计日志 记录谁、何时、何地、做了什么,以供事件调查使用
检索增强生成(RAG) 将检索到的文档片段放入上下文以生成回答的方式
边界案例 用于检验判定标准的评估案例,如看似攻击但实际正常的请求
攻击通过率 攻击尝试中穿过防御、实现目标的比例,也称攻击成功率
攻击面 外部不可信内容能够触达模型或系统的全部入口
供应链 模型、权重文件、适配器、软件包、插件、MCP服务器等外部组件的引入路径
过度代理 因超出必要的功能、权限、自主性,使错误输出转化为有害行动的漏洞。OWASP LLM06:2025
交战规则 规定红队目标、环境、数据、允许与禁止行为、停止条件、报告体系的约定
跨上下文泄露 多个用户群体共用存储时,一群体的数据流向另一群体
权限感知检索 在检索阶段只返回符合请求者权限的文档
答案污染 没有泄露,但推荐、摘要、判断按攻击者意图扭曲的损害
数据流图(DFD) 用外部实体、处理过程、存储、数据流、信任边界描绘系统的图
红队 在获准范围内有意攻击自有系统,以发现缺陷的结构化测试活动
记忆污染 污染存储的摘要、记忆、索引,扭曲后续判断的风险。OWASP ASI06
模型提取 通过大量查询收集输出,尝试复制模型功能
目标劫持 外部内容或伪造消息改变智能体追求的目标本身,带动整个后续流程的风险。OWASP ASI01
无害性筛查 用轻量模型在输入到达主模型前分类的模式
无限制消耗 不受控推理请求导致拒绝服务、成本损失、模型窃取的风险。OWASP LLM10:2025
不当输出处理 模型结果在被界面、DB、shell等下游解释前,未进行验证或编码的缺陷。OWASP LLM05:2025
分类器 护栏的判定引擎,包括规则、专用分类模型、LLM筛查
人工确认(HITL) 高影响行动须经人工批准才执行的控制
状态句柄 MCP服务器签发、用于指代跨多次调用状态的标识符,不是认证手段
服务端请求伪造(SSRF) 使服务器向攻击者选择的地址发请求、进而触达内部资源的攻击
系统提示词泄露 系统提示词中的机密或控制逻辑暴露的风险。OWASP LLM07:2025(2026年版扩展为Hidden Context Exposure)
信任边界 不同信任级别的数据或组件相遇的位置
级联故障 单一缺陷沿智能体与流水线传播并放大的风险。OWASP ASI08
误拦截率 正常请求中被防御错误阻止的比例
完全仲裁 所有发往下游系统的请求,均由下游系统而非模型逐次授权的原则
风险登记册 记录威胁、路径、分类、决策、残余风险与负责人、复查条件的表格
残余风险 采取控制后仍然存在的风险
嵌入反演 从嵌入向量恢复大量原文的攻击
资产 受损后会使组织陷入困境的数据、凭据、行动能力、资源
钱包耗尽 放大按量计费的AI成本,使运营者受损的攻击
直接注入 应用用户输入改变模型行为
阻断开关 事件发生时,按工具、连接、功能、任务停止执行的机制
最小自主性 不在不必要的位置赋予智能体自主性的原则(Least-Agency)
金丝雀值 植入评估集、用于判定泄露的唯一虚构机密值
越狱 以使模型无视安全规范为目的的一种提示词注入
token透传 不确认收到的访问token受众是否为自身,就传给下游API的反模式(token passthrough),MCP授权规范禁止该模式
令牌化 将敏感值替换为无意义字符串,并将映射表另行保存的处理
tripwire 护栏检测违规时使执行停止的信号(OpenAI Agents SDK术语)
判定模型 用于为其他模型的输出评分的模型(LLM评分者)
载荷拆分 将指令拆成多个片段,使每段看似无害的技术
任务交接 一个智能体将对话与任务交给另一个智能体的调用(OpenAI Agents SDK术语)
混淆代理人 有权限的中介受骗,代其他主体行使权限的问题(confused deputy)
回归评估 变更后重跑过去事件或发现案例,确认同类缺陷是否仍存在
熔断器 同类错误反复发生时,在一段时间内阻止该调用,以切断传播的机制
AI BOM 模型、数据集、适配器、配置等AI组件的清单,CycloneDX ML-BOM是其中一种格式
MCP 应用将工具与数据连接到模型的开放协议(Model Context Protocol)
MITRE ATLAS MITRE整理针对AI系统的攻击者战术、技术及真实案例的公开资料
NIST AI RMF 2023年1月发布的NIST AI风险管理框架,由Govern、Map、Measure、Manage四项职能组成
NIST AI 600-1 AI RMF的生成式AI配置文件,介绍特有风险与建议措施
OWASP Agentic Top 10 智能体十大特有风险(ASI01~ASI10),2026年版
OWASP LLM Top 10 LLM应用十大主要风险;本书与考试使用2025年版编号,与2026年版对照见第1章
Prompt Shields Microsoft检测用户提示词攻击与文档攻击的分类服务
safety_identifier 附加到请求中、用于逐用户追踪滥用的哈希用户标识字符串(OpenAI)
safetensors Hugging Face为安全存储张量设计的存储格式,与pickle不同
SAIF Google的Secure AI Framework,包含六个核心要素与风险地图
STRIDE Microsoft整理的威胁分类,是Spoofing、Tampering、Repudiation、Information Disclosure、Denial of Service、Elevation of Privilege的首字母缩写
TOCTOU 检查时与使用时不同,期间条件变化未被反映的问题