附录 B 自测答案与解析

第1章

1-1. 参数化查询会通过不同的通道发送查询结构与值，因此由解析器固定结构。在LLM中，系统提示词、用户请求、文档和工具结果，却会进入同一个上下文；即使有角色标记，决定哪些内容应当作为指令遵循的，也不是解析器的语法，而是模型的概率性判断，因此无法实现结构上的分离。

1-2. 这四个位置是：上下文组装点（混入了谁撰写的文本？）、工具执行点（使用谁的权限，检查什么之后再执行？）、输出解释点（输出是否可能被解释为代码或命令？），以及记忆写入点（保存下来的内容，之后会由谁读取？）。

1-3. 必须记录剩余风险的具体内容，以及负责承担该风险的人。转移并不会降低风险本身，接受则意味着决定带着风险继续进行；如果没有记录，这就会变成一项无人负责的风险。如果同时写明重新审查的条件，就可以在情况变化时，重新审视原来的决定。

1-4. 例如，智能体的全部工具调用，都通过一个共享服务账号发出，而日志中又不保留提出请求的用户标识符。发生事件时，就无法证明究竟是谁的请求引发了这一行动，因此也无法确定影响范围与责任。如果采用token透传，使下游系统日志只留下中转服务器的信息，同样存在这一缺陷。

1-5. 事件起点应标为ASI06（Memory & Context Poisoning），扩散过程则标为ASI08（Cascading Failures）。ASI08指的不是最初的缺陷，而是这个缺陷沿智能体、工具和工作流传播的现象，因此直接发生的侵害，还应另行按对应编号分类。如果只阻止扩散，却不修复起点，同样的事件还会再次发生。

1-6. 应首先查阅MITRE ATLAS。它将攻击战术与技术，同案例研究连接起来，适合用来按阶段构建场景。NIST AI RMF回答的是，组织如何管理AI风险（责任、背景、测量、应对）；SAIF回答的则是，应当如何建立哪些安全控制（核心要素，以及针对各类风险的控制）。

1-7. 新增的信任边界，是模型的摘要转化为向频道发布内容这一行动，以及发布的内容在其他员工的界面中渲染的位置。重新审查条件的例子包括：“发布对象增加外部共享频道”“摘要对象增加外部文档来源”“移除发布之前的确认步骤”，以及“为发布工具增加修改或删除功能”。

第2章

2-1. 白色文字、注释和元数据等在界面上看不到的内容，对模型而言也都是输入。因此，审查与筛查时，不能以人眼看到的界面为准，而应以模型实际接收到的文本，也就是提取结果为准。

2-2. 直接注入与间接注入，是根据指令进入的路径来区分；越狱则是根据绕过模型安全政策这一目的来区分。例如，如果共享文档中的隐藏指令，使模型生成了安全政策所禁止的内容，这既是间接注入，也是越狱。只检查用户输入的越狱过滤器，会遗漏这样的情况。

2-3. 要切断偏离阶段，可以先根据用户请求确定计划，再读取外部内容（固定计划）；也可以让负责规划的一方不看原文，而由负责读取的一方，只传递规定格式的数据（不读取原文的规划器）。如果发现非预期的目标变化就停止执行，这种意图验证也属于此类。要切断传递阶段，则可以让读取外部内容的流程无法调用写入工具，为影响较大的行动设置人工确认，或者用允许列表限制收件人与域名。

2-4. 这样会使攻击者更难通过闭合引号或标签，逃出数据区域，转而进入指令上下文。不过，模型遵循字符串值内部指令的可能性，仍然存在。编码只是让边界更明确，并不能强制模型作出某种判断，因此还需要配合权限分离与确认。

2-5. 第一，使用经过实际服务路径（上传与文本提取）的韩语攻击案例，以及正常案例和边界案例，分别测量检测率与误拦截率。第二，确定没有判定结果或发生错误时的处理方式，以及检测到问题后，应在阻止、标记与人工审查中采用哪一种处理。Prompt Shields的文档也说明，由于训练和评估主要使用英语，因此需要对每一种语言单独评估。

2-6. 答案污染不会把敏感信息发送到外部，而是表现为：在格式正常的回答中，推荐被扭曲，或者某些条件被遗漏。因此，关注数据外传的检测规则，无法捕获这种情况。可以通过附上依据文档与引用、对照原文进行验证，利用确定性检查确认必要项目是否遗漏，以及让人工审查重要决策，来降低这一风险。

2-7. 第一个原因，是审批请求过于频繁，使人不再阅读内容；应根据风险程度收窄需要确认的范围。第二个原因，是界面展示模型的摘要，而不是实际参数，使人相信模型的解释；应以原始值展示对象、参数和效果，并将批准与执行参数绑定，参数改变时就重新询问。通过监控批准率与从请求到批准的耗时，可以发现流于形式的审批。

2-8. 示例答案如下（也可增加第四行：发布前人工确认）。

降低概率层：评论正文仅以工具结果传递，附“外部公开页面，作者未核实”来源，用筛查模型标记指令插入。
权限分离：读取评论的阶段不能调用发布工具，只接收规定表格格式的整理结果，由确定性代码发布。
输出限制：发布前移除外部链接、图片、标记，将发布位置固定到指定维基空间。

第3章

3-1. 例如，可以列出上下文组装（放入了过多字段，使用字段级查询工具缩减）、外部模型调用（原文被发到外部，采用脱敏、假名化并核查合同条件），以及日志与缓存（原文留存，进行脱敏并设置保留期限）。也可以回答工具参数（验证参数并限制目的地），或者摘要、嵌入和微调数据等派生数据（训练前清理，以及建立删除流程）。

3-2. 这两项是：对扩展功能及下游系统活动进行日志记录与监控，以及限制请求速率。它们只能在事后发现错误行动，或者减少错误行动发生的次数，并没有缩减使模型能够执行有害行动的功能、权限和自主性，因此不属于预防措施。

3-3. 这一原则是：对于所有发往下游系统的请求，都由下游系统依据安全政策，每次进行授权检查，而不是由模型作出判断。例如，只在系统提示词中写下“只有管理员才能批准退款”，退款API本身却不检查调用者的权限，这种设计就违反了这一原则。

3-4. 需要核查：输入和输出是否用于模型训练，以及拒绝用于训练的方法；滥用监测日志的保留期限；应用状态（对话、文件、向量库）的保留期限与删除方法；减少留存的选项需要满足哪些审批条件；以及数据存储与处理的地区。各项条件因功能和合同而异，应连同核查日期一起记录。

3-5. 默认应使用textContent等只将数据作为文本处理的方式来渲染。如果确实需要格式，则应经过禁用原始HTML的Markdown渲染器，以及基于允许列表的净化器（OWASP推荐DOMPurify）。CSP是额外的防御层，不能代替前面这两种处理。

3-6. 禁止把“持有状态句柄”这一事实当作身份认证。服务器应验证所有请求，使用安全随机数生成句柄，并在服务器端，将句柄与从已验证token中取得的用户ID绑定，拒绝其他主体提交的句柄。为句柄设置到期时间，还能进一步降低风险。

3-7. 示例答案如下。find_free_rooms(시작, 끝, 인원)只查询会议室列表，是只读工具，不需要确认。read_my_calendar(기간)使用用户上下文中的token，只读取提出请求的员工本人的日程，也不需要确认。book_room(회의실, 시작, 끝)只负责创建预约，没有修改或删除功能；它在用户上下文中执行，由服务器检查预约冲突与权限，并在创建前取得用户确认。不授予通用的日历写入权限。

第4章

4-1. 可以从以下三类中写出两类：任务交接、托管工具（网页搜索、文件搜索、托管MCP、代码解释器等），以及内置执行工具（计算机、shell等）。可替代设置的控制，包括使用阻塞模式的输入护栏、隔离执行环境并限制域名允许列表、在下游系统进行服务端授权，以及将工具封装成自行编写的函数工具后进行检查。

4-2. 有害内容分类回答“根据安全政策，这些内容是否有害”；注入攻击检测回答“这份输入或文档中，是否包含试图改变模型指令的内容”；授权检查回答“这个主体是否可以对这个资源采取这项行动”。三者不能相互替代。

4-3. 应约定目标系统与版本、与生产隔离的测试环境、使用合成数据与虚构机密值、允许和禁止的行为（采用模拟工具，禁止触碰第三方系统）、停止条件，以及联络与报告体系（向谁、以什么格式、在什么时间报告）。

4-4. 目的是，当这个值出现在输出或外部请求中时，可以自动判定为泄露。它不能与真实数据或真实机密值重合，而且必须足够独特，使模型不可能偶然生成相同的值。

4-5. 攻击通过率为9 ÷ 240 = 3.75%，误拦截率为15 ÷ 500 = 3%。仅凭这两个数字，无法知道按场景统计时，有多少场景至少突破过一次；哪一层捕获了攻击；正常业务是否一直处理到完成（业务完成率）；以及通过防御的攻击来自哪条路径、造成多大损害。写出其中一项即可。

4-6. 近似上限为3 ÷ 60 = 5%。可以说，真实成功率很可能低于约5%，却不能说成功率为0，也不能说在其他路径、其他变体或其他模型版本下，同样安全。

4-7. 为了分别观察每项控制的单独效果，以及一起使用时的效果，需要四种配置：基线、基线加输入筛查、基线加写入工具确认，以及两项都加入。固定评估集版本、模型与提示词及工具版本、重复次数（以及判定方法）。同时观察按场景统计的攻击通过率与正常业务完成率（或者误拦截率）。再与移除其中一项控制的配置比较，就能够找出彼此重叠的控制。

第5章

5-1. 从会话标识符、访问token、密码、加密密钥与机密值、数据库连接字符串、支付信息、敏感个人信息中写出四项。可改为记录哈希用户标识符、追踪标识符、工具名称和结果状态、token数量、护栏判定等。

5-2. 警报只通知人，执行仍继续；预算上限由代码停止执行。可施加于单任务的上限包括模型调用数、工具调用与重试次数、下级智能体数、循环深度、成本、运行时间。

5-3. 持续输入溢出是反复提交超出上下文窗口的输入，用输入大小上限阻止。资源密集型查询是用计算量大的请求耗尽资源，可用超时与节流、资源分配管理、请求速率限制应对。

5-4. Anthropic文档说明，模型ID对应的权重固定（旧一代别名跟随最新快照），但请求路由器、安全分类器、采样逻辑等服务基础设施变化，可能使观察到的行为略有不同。运营团队应定期重跑回归评估集，并追踪弃用与退役日程，在退役前提前测试替代模型。

5-5. 完整、不截断地展示将执行的命令及参数，说明这是在用户系统上执行代码的高风险操作，并取得用户明确批准（也应允许取消）。建议在默认最小权限沙箱中运行服务器命令，限制文件与网络访问。

5-6. 涉及一千名以上信息主体的个人信息发生泄露等情形；敏感信息或固有识别信息发生泄露等情形；因外部非法访问个人信息处理系统或用于处理个人信息的信息设备，导致泄露等情形。自获知起72小时内，向韩国个人信息保护委员会或韩国互联网振兴院报告。不得已事由，以及通过收回、删除使侵害权益可能性显著降低等情况存在例外，因此实际判断由个人信息保护负责人和法务作出。

5-7. 示例答案：（1）停止记忆写入：由AI平台值班人员关闭，停止保存新记忆，保留读取已有记忆；确认污染后，第二阶段连读取也关闭。（2）阻止对外发送工具：由服务值班人员关闭，邮件、消息发送停止，只保留草稿生成。（3）断开连接器、MCP并撤销token：由安全运营执行，停止对该外部系统的查询与修改。（4）只读说明模式：由服务负责人启用，咨询降级为主要提供预先准备的说明。