AI安全教材

目录

1. 如何使用本教材
2. 第 1 章 威胁建模

   为什么LLM应用需要单独的威胁模型 · 威胁建模的四个问题 · 资产：需要保护什么 · 攻击面与攻击者的可控范围 · 信任边界与数据流图 · 将STRIDE应用于LLM组件 · OWASP Top 10 for LLM Applications 2025 · 条目间的连锁关系：用多个风险编号分析同一事件 · 扩展到智能体：OWASP Top 10 for Agentic Applications 2026 · 框架地图：NIST AI RMF、Google SAIF、MITRE ATLAS · 风险优先级与残余风险记录 · 有状态的系统：输入时点与损害时点不同 · 将威胁模型转化为需求与验证项

3. 第 2 章 提示词注入

   定义与根本原因 · 直接注入与间接注入：两种威胁模型 · 与越狱的区别 · 攻击成立的五个阶段 · 路径地图：模型代替用户阅读的全部内容 · 工具结果与工具定义也是输入 · 损害的三条分支：行动劫持、信息外传、答案污染 · 为什么不存在完美拦截 · 缓解措施1：隔离、标注与结构化 · 缓解措施2：筛查与检测 · 缓解措施3：权限分离、确认、输出限制及其组合 · 正常业务与攻击的边界：引用、翻译、安全培训材料 · 跨多轮与记忆的注入 · 人工确认的陷阱：审批疲劳与信任利用

4. 第 3 章 数据保护与权限

   敏感信息从哪里泄露：数据生命周期 · 最小化、脱敏、假名化 · 发送给外部AI服务的数据条件 · 系统提示词不是秘密 · RAG与向量库的权限 · 过度代理：三个根源与八项预防措施 · 将工具权限最小化落实到设计 · 委托与身份：以谁的权限执行 · 输出是不可信输入 · 安全渲染输出 · 模型选择的地址与代码：SSRF与代码执行 · 绑定批准与执行 · 派生数据隔离：缓存、记忆、摘要、导出

5. 第 4 章 防御验证与红队测试

   护栏地图：在哪里设置什么 · 检查何时结束：Agents SDK案例 · 分类器：判定引擎的种类与局限 · 失效行为：没有判定时 · 红队定义与交战规则 · 攻击场景设计 · 用已有攻击清单扩展范围 · 评估集构建 · 成功判定：依据结果判断 · 防御效果指标 · 持续监控与回归 · 应运行多少次：概率性结果的解释 · 比较控制组合效果的实验

6. 第 5 章 运营安全与事件响应

   审计日志应证明什么 · 保护日志本身 · 用户识别与滥用追踪 · 无限制消耗的表现 · 预算与阻断机制 · 供应链1：模型与模型文件 · 供应链2：工具、插件、MCP服务器 · 配置清单与AI BOM、模型生命周期 · 检测信号设计 · 事件响应流程 · 阻断开关与安全降级运营 · 个人信息泄露通知与记录 · 证据保存与个人信息保护的平衡 · 恢复受污染的记忆、索引、缓存

7. 附录 A 术语表
8. 附录 B 自测答案与解析
9. 附录 C 考试当天指南
10. 附录 D 参考文档列表