附录 B 自测答案与解析
第1章
1-1. 影响范围(例如,发给数百名客户的通知)、撤回难度(例如,转账、发送、删除)、发现所需时间(例如,几周后因为收到投诉,才暴露出来的计算错误)。三个因素中,只要有一项较高,该步骤就更需要人工批准或严格审核,而不是自动执行。只设一个风险分数,会通过平均值把这些差异抹去。
1-2. 处理时间是实际执行工作的时间,等待时间则是等待下一个人开始着手的时间。AI主要缩短的是处理时间。如果把两者混在一起测量,就会在等待占大部分的工作中,高估引入AI的效果,或遗漏真正需要的流程改进,例如调整分派次数或审批层级。
1-3. 按部门名称分类,适合用规则,因为按既定条件分类,既准确又容易解释。判断是投诉还是咨询,则适合交给AI,因为需要理解上下文。两者也可以串联起来:先由AI判断性质,再由规则依据这个结果,将事项转交负责人。
1-4. 批准是允许执行某项操作,核查则是审查内容是否正确。如果只有批准,审核者就会不看哪些内容正确,只按按钮(审批疲劳、走过场的审核)。错误会原样通过,而责任却只留给了批准者。
1-5. 90件×4分钟=360分钟,也就是每天需要6小时,但审核者只能投入3小时,因此按原计划,会有一半无法审核。可提出以下任一种调整方案:将低风险事项改为抽样审核;让AI标明依据所在位置,缩短每件审核时间;将自动化范围缩小到每天45件之类能够审核完的数量,其余按原方式处理。直接取消审核节点,并不是答案。
1-6. “每周一早晨”这个启动条件,对应定时任务;读取共享云盘中的会议纪要,对应连接器,而且只需读取权限;整理决议,则对应在指令中规定格式的AI生成;结果放在团队负责人能够查看的位置,例如云盘文档或通知。这是顺序固定的工作,不需要自主决定步骤的智能体。如果不需要发送,也就不应开放发送工具。
1-7. 示例答案:人工审核节点(位置、审核者、缺席时的处理)和停止条件。新负责人如果不知道谁来确认什么、什么时候必须停止,就可能让自动化照常运行,或者反过来干脆完全停止。选择目标与基线,或排除的工作及其理由,并按相同逻辑说明,也算正确。
第2章
2-1. 个人自定义指令适用于自己的全部对话,由本人管理。项目指令只适用于该项目内的对话,由所有者和编辑者管理;按OpenAI的定义,在项目内,项目指令优先于全局自定义指令。如果把团队规则放在个人指令中,结果就会因人而异,新成员也不会自动适用,而且每次变更,都需要所有人各自修改。
2-2. 指令:①写明依据文档名称的规则、③先询问日期的流程、⑤语气规则。知识:②门店营业时间表、④优秀回答案例。指令规定行为,知识提供参考资料。用于展示格式的一两个简短示例,可以放进指令;但十个回答组成的案例集,属于参考资料,应放在知识中。如果②经常改变,应考虑连接原始资料,而不是保存副本。
2-3. 示例答案:
[角色] 你是公司内部会议室使用引导员。
[任务] 根据“会议室使用规定”,说明预订方法、可用时间和禁止事项。
[上下文] 提问者是偶尔使用会议室的一般员工,往往是在着急的情况下提问。
[格式] 一句结论 → 不超过三步的流程 → 依据条款编号。
[异常处理] 规定中没有涉及的情况,不要猜测。写明“规定未涉及此内容”,然后
指引至行政团队窗口。理由:错误指引会造成与其他部门的预订冲突。
评分的核心,是有没有用具体行为代替“友善地回答”“不要答错”之类的愿望,以及有没有为异常处理附上理由。
2-4. RAG只取回与问题相似的一部分片段,用于回答;而全量统计必须毫无遗漏地遍历所有资料,因此RAG会漏掉其中一部分。对于这类工作,应将资料整理成表格,再用电子表格或数据分析功能,处理全部资料。
2-5. 入库:原样询问只有该文件中才有的句子,或确认文件能否作为文字读取。检索:用资料中使用的术语,重新询问同样的内容。生成:将回答引用的依据位置与原文对照,查看是否遗漏条件。失败发生的阶段不同,对应的处理办法也不同,例如整理资料、补充术语表或修改指令。
2-6. 连接式来源可以反映原件的变化,例如添加到Gem中的Drive文件;上传副本则固定在上传时的状态,必须有人更换。即使同样称为“连接”,不同产品也可能并不预先同步。只有在台账中注明这一区别,才能明确每份资料的更新方式和责任人,避免过时副本被放着不管。
2-7. 正常:准确回答,并说明依据。异常:信息不足时,追问或转交负责人。拒绝:对不应访问的信息不作答,并指引至正确渠道。边界:资料冲突时应用优先级,显露不确定性,不编造答案。
第3章
3-1. 就像自己的门禁卡只能进入自己有权进入的楼层一样,连接器只能访问连接者在原系统中有权访问的范围。若多人使用同一个固定密钥连接,每个人都会获得该密钥的权限,个人之间的权限差异也就消失了。这种情况下,应使用范围受限、只允许访问成员本就有权访问内容的凭据。
3-2. 身份验证,是确定用谁的账户连接,例如换一个账户重新连接。访问权限,是确定该账户能够访问什么,例如改变原始文件夹的共享范围,或缩小连接时请求的范围。执行审批,是确定这一次操作能否执行,例如把发送工具设为每次询问。关键在于,更改执行审批设置,并不会改变访问权限。
3-3. 主机是员工使用的AI聊天应用;客户端是该应用为保持与日程服务器的连接而创建的组件;服务器则是向应用提供日程系统功能的程序,例如查询和登记日程的工具、会议室列表这类资源。如果主机连接多个服务器,每个服务器都对应一个客户端。
3-4. 过多功能:阻止不用的工具,清理测试后遗留的连接。过大权限:使用个人权限连接,共享密钥选择范围较窄的凭据。过高自主性:将写入、发送和删除工具设为需要审批。减少其中一项,也能降低风险;但必须三项一起收紧,才能在某一层被突破时,仍把损害控制在较小范围。
3-5. 产出、完成标准、使用范围、禁止操作、停止标准、报告方式,至少写出其中四项。缺少停止标准时,智能体可能在受阻的位置反复进行相同尝试,消耗时间和用量;也可能为了达成目标,尝试登录、付款之类的绕行路径,或交出错误不断累积的结果。
3-6. 如果看不到自己在批准什么,人就会在无法核查内容的情况下按下按钮,审批节点也就流于形式。必须包含的信息是:对象(收件人、将改变的记录)、内容(金额、日期、附件)、影响(是否对外公开、能否撤回)、依据(为什么判断该操作有必要)。
3-7. 外部资料中可能混入隐藏指令,而且目前尚不明确是否有完全防住注入的方法。如果同一个任务还掌握着发送工具,隐藏指令就获得了向外发送信息的通道。把读取与发送分开,并让人负责发送,就能阻断这条通道。不过,指向外部地址的图片等其他泄露途径仍然存在,因此不能只靠这一点,就认定已经安全。
第4章
4-1. 如果缺少谁(人员)、访问什么(资料)、能做什么(操作),就无法知道实际允许的范围。示例答案:“销售团队成员可以查看和下载‘提案模板’项目中的文件,但不能修改指令,也不能邀请其他人。”
4-2.
| 操作 | 所有者 | 编辑 | 聊天 |
|---|---|---|---|
| 邀请其他人 | 可以 | 可以 | 不可 |
| 移除已有成员 | 可以 | 不可 | 不可 |
| 下载已上传文件 | 可以 | 可以 | 可以 |
有两点经常被弄错:最低角色也能下载文件,而有编辑权限的人可以邀请别人,却不能移除已有成员。
4-3. 示例答案(对话链接):在ChatGPT的私密项目中,共享其中一段对话,接收者只能看到该对话,看不到项目中的其他对话、文件或指令。如果是共享项目中的对话,接收者必须先加入项目才能打开;加入以后,也会按照自己的角色看到其他内容。不过,在业务工作区中创建的链接,也可能包含后续消息。如果选择了其他共享单元,应确认与正文的共享单元表一致。定时任务链接会展示完整指令;导出文件不会与原件同步,也不会继承原件的权限。
4-4. 保留期控制对话在服务中保留的时间;删除是移除某段特定对话的操作;训练使用控制内容是否用于模型改进;记忆控制后续对话是否参考过去的信息。即使关闭训练使用,已经保存的对话也不会删除(OpenAI)。若要删除,必须另行执行删除操作,而且从系统中完全移除,也可能需要一段时间。
4-5. 删除部分个人信息,或替换成其他值,使人们在没有另行保存的附加信息时,无法认出具体个人。减少发送的措施,可以从下列三项中选择两项:移除姓名、联系方式等分析不需要的栏位;把客户姓名换成“客户A”之类的代称,将对应表放在AI空间之外;使用按类型统计的件数等汇总值,代替逐人记录。
4-6. AI生成的摘要、比较表和引文,是包含原始内容的衍生信息。因此,把内部空间中生成的结果粘贴到外部空间,会产生与共享原始文件相同的效果。运营规则示例:对外分发的成果,要在只包含对外共享资料的空间中制作;确实需要转移内部成果时,由人逐行核查。
4-7. 因为许多设置只改变以后的行为,已经开放的共享或连接仍然存在。只影响未来的例子:在Claude中关闭项目共享,已有的个人与群组共享仍然保留,但全公司公开项目会转为私密,仅依靠公开设置使用的人会失去访问权;ChatGPT Enterprise的域名连接限制,不会断开已有连接。立即、不可逆地生效的例子:在Claude Enterprise中缩短保留期,会为超出新期限的数据安排永久删除。
第5章
5-1. 很长的清单会埋没重要项目,增加审核时间,容易让审核最终只剩形式。会议纪要摘要必须检查事实类别,例如决议、负责人和期限是否与会议内容相符。如果是不会发往外部的内部摘要,可以省略执行对象或承诺类别;如果要将摘要发到外部,判断就不同了。
5-2. 可以举出的例子是:轻微错误,表达生硬;重要错误,抄错日期;严重错误,发给了错误的客户。恢复全量审核的条件示例:抽样中,重要及以上错误连续两周超过既定比例,或者哪怕出现一件严重错误,就恢复全量审核。
5-3. 各自判定同一批成果→讨论存在分歧事项的原因→将达成共识的标准,连同示例写进审核清单,并在每次审核者更换时重复。如果某个项目仍然持续存在分歧,就说明标准模糊,应继续拆成更小的项目,或者改为可以核查的事实,而不是主观判断。
5-4. 按生成数量计算,90÷200=45%;按已审阅数量计算,90÷120=75%。只有审阅完成的事项,才能知道质量,因此质量指标应使用75%。同时写明审阅率60%(120÷200),让报告明确显示仍有尚未审阅的事项。
5-5. ①权限与连接阶段,身份验证过期;②生成阶段,已经找到正确依据,却在理解过程中遗漏条件;③输入阶段,因为表单变化而无法读取必要信息。如果把③看成指令问题,只增加强调句,就只会提高AI编造不存在信息的风险。
5-6. 每件节省时间为10−(1+4)=5分钟;5分钟×500件=2,500分钟,即41小时40分钟;再减去10小时维护时间,每月约净节省31.7小时。宣布成功之前,至少还应确认以下一项:质量是否保持引入前的水平(错误率)、是否遗漏返工时间、基线是否用相同方式测量、工具费用是多少。
5-7. 停止信号与有权停止的人;由人接手的流程、负责人和所需表单;重新启动的条件,包括修复原因、通过回归测试、负责人批准。例如,缺少恢复条件,就可能在尚未修复原因时匆忙重新开启,导致同样错误反复发生;如果没有手工流程,停止运行期间,工作就会不断积压。