附录 B 自测答案与解析

第1章

1-1. 意思是先明确清单旨在回答的问题，并且只将回答该问题所需的事项列入清单。若要研判个人信息风险，必须掌握“所处理数据的种类以及是否包含个人信息与敏感信息”和“供应商与受托关系（数据流向何方）”。仅凭名称、部门和费用是无法回答该问题的。

1-2. 居家办公员工的访问不经过公司代理，因此不会出现在代理日志中。作为补充来源，若员工以个人名义付款后报销，可通过信用卡与费用报销明细进行核查；若使用公司账号注册，可通过 SSO 应用列表和登录日志进行核查。对于既有 SaaS 的内置功能，则通过管理员设置和供应商公告另行确认。

1-3. 将规模（使用次数、部门、周期）作为独立证据，将风险大小（流出了哪些数据）通过抽样进行查明，将原因（审批流程是否跟得上需求）通过访谈与流程审查予以厘清。不应将使用者名单移交用于惩戒。是否予以惩戒属于管理层的决策，若由审计来承担，不仅会越俎代庖替管理层承担责任，也无助于从根本上消除原因。

1-4. 这是指在初步调查中收集到多项信号时，由最突出的信号来决定集中投入时间与审计程序的重心的原则。如果由外部开发商运营的模型已两年未变且人工审核运行正常，但合同中缺失审计权和变更通知条款，那么相比变更管理，合同与受托管理才是审计的重点。即便针对同一个模型，如果近期更换频繁，重点也会随之转移到变更管理上。

1-5. 可以使用。Yellow Book 指出，标准中可以包含技术规范、既定业务惯例和基准（GAO 8.124）；IIA 标准也要求寻找并采用最相关的标准（IIA 13.4）。报告中应阐明选用该标准的理由，并说明该标准不属于法定强制义务的性质。

1-6. 风险管理方案与解释方案的主要内容、用户保护方案、公示管理与监督人员姓名及联系方式的界面截图、职责履行依据保存5年的体系与实际归档文件（《施行令》第27条第2款），若为利用业务机构，还应将从开发业务机构处获取的资料以及不存在重大功能变更的依据列入索取清单。

1-7. 参考设计：① 由于审计负责人曾临时对该委员会承担职责，因此该领域的确认服务在任职期间及随后的12个月内应由独立的第三方（例如直接向董事会独立汇报的外部确认服务提供方）负责提供。② 审计负责人应制定计划将委员会干事职责移交给管理层，并让曾参与委员会运作的内部审计人员退出相关业务。③ 将该客观性问题及应对措施记录于计划书中并向董事会汇报。①与②的前半部分是 IIA 7.1 的要求（与 IIA 2.2“对审计负责人承担职责之职能的确认需要外部独立监督”的主旨一致），其余部分则是执行该要求的方法。

第2章

2-1. 设计有效性关注的是，如果“判定标准的变更亦须审批”这一政策得到严格执行，能否防止未经审核的变更发生。运行有效性关注的是，在过去一年中实际发生的所有判定标准变更是否均通过了审批，以及审批人是否具备相应的权限与能力。

2-2. 属于运行缺陷。AS 2201 .A3 将控制执行人员缺乏有效执行控制所需的权限或能力的情形定义为运行缺陷。不过，若允许未经培训直接上岗的流程本身存在问题，则应在原因分析中一并探讨。

2-3. 顺序为询问、观察、检查文件、重新执行（AS 2201 .50）。询问仅为经办人员的陈述，并非证明控制在期间内实际得到执行的独立证据，因此单凭询问不能作为得出结论的依据。

2-4. 分别是权限、信息、时间与能力。缺乏权限时，即便人工意见与 AI 不一致，AI 的结果也会被自动应用；缺乏信息时，往往存在大量不查阅原始资料就直接确认的情况；缺乏时间时，每笔业务的处理时间过短，不足以阅读原始资料；缺乏能力时，推翻决定的理由往往与标准不符，或者几乎从不推翻。

2-5. 分别是模型重新训练与更换、判定标准分值调整、指令修改、知识文档更新、供应商基础模型更换。在传统的变更管理中最容易遗漏的两项是指令修改与知识文档更新，因为即便代码没有改变，输出结果也会发生改变。

2-6. 分别是类型（仅涵盖设计，还是测试了运行有效性）、范围（涵盖了哪些控制目标）、期间（是否覆盖被审计期间，过去了多久）以及用户侧补充控制。与 AI 固有风险冲突最频繁的是范围；而对于模型变更频繁的服务而言，期间也经常成为问题。这是因为此类报告通常仅涵盖访问控制和可用性，而不涉及将客户数据用于模型训练或未经预告更换模型等事项。

2-7. 参考示例：① 是否具有智能体可使用的工具及权限清单，并定期进行审查？② 该权限是否符合业务所需的最小权限原则（例如：退款限额、发送对象限制）？③ 对难以撤销的操作（如执行退款、批量发送），是否设置了人工审批？④ 智能体的行为记录是否留存在智能体与运维人员均无法篡改的位置？

第3章

3-1. 分别是相关性、效度与信度。满意度或许能反映回答是否亲切或看似合理，但无法体现准确性，因此在衡量“能否真实反映拟测量对象”的效度方面表现较弱。

3-2. 直接测试信息的准确性与完整性的方法，以及测试生成该信息过程中的控制的方法（AS 1105 .10）。如果是专为本次审计一次性手工编制的资料，适合采用直接测试；如果是在有效控制下自动重复生成的数据，则适合采用控制测试。

3-3. 选取特定项目的结果不能推断至总体（AS 1105 .27）。在报告中应说明选取标准和审查笔数，并将结论限定在该范围内表述，如“在所选取的若干高风险事项中存在几起”（GAO 9.21）。

3-4. 可容忍偏差率、预期偏差率以及过度信赖控制的风险（AS 2315 .38）。除非总体规模极小，否则总体规模对样本量几乎没有影响。

3-5. 抽样风险（即即便样本偏差率低于可容忍偏差率，实际总体偏差率仍有可能超过容许限度）以及偏差的定性方面（即该偏差属于单纯失误还是故意规避及其原因）（AS 2315 .41–.42）。必要时应扩大样本量或追加其他证据。

3-6. 确定性评分模型对于相同的输入会输出相同的结果，因此可以用经批准的版本重新计算并与历史记录进行比对。生成式模型即使输入相同，输出也可能不同，无法用重新运行的结果来评判过往记录，因此需要根据记录下来的输入和输出重新执行测试，以判断其结论是否符合标准。所需的日志包括输入原文、输出原文，以及模型、指令、知识文档的版本信息。

3-7. 参考示例：① 契合审计目的，以书面形式明确“涉嫌舞弊”的判定标准。② 确认工具的数据处理条件后，由审计人员根据标准亲自判定的代表性验证样本，分别测算工具的误报率与漏报率。③ 若两项比率均在容许范围内，则对全量数据进行分类；对工具筛选出的事项核对原文，并在“不适用”事项中同样抽取样本以检查是否存在遗漏。④ 将指令、模型版本、运行时间、输入数量以及验证结果记录在审计底稿中。

第4章

4-1. TP 为 150，FP 为 150，FN 为 50。召回率 = 150 ÷ 200 = 75%，精确率 = 150 ÷ 300 = 50%，多数类基线（即将所有交易均判定为正常时的准确率）= 199,800 ÷ 200,000 = 99.9%。

4-2. 确认是指通过提供客观证据确认满足特定预期用途的要求，即探究“是否针对该用途正确发挥作用”。可靠性是指在给定条件下和给定时间内无故障地按要求运行的能力，即探究“在规定的使用条件与规定时间内，能否无故障地按要求运行”。在多样化场景下能否保持性能，则是鲁棒性探讨的问题。

4-3. 隔离（未严格隔离导致的问题称为数据泄露）。如果通过随机打乱数据行进行划分，同一客户或同一账户的记录就会同时进入训练集和评估集中，导致模型记住了具体特征，从而使得分虚高。应当按客户或账户维度划分后重新进行评估。

4-4. 分别是系统性偏差、计算与统计偏差、人类认知偏差。NIST 说明这三者在完全没有成见或歧视意图的情况下也可能产生，因此主观上“没有意图”的事实并不能作为不存在偏差的证据。

4-5. 真实标签本身就是以往人工做出的判断，因此该判断中包含的偏见也体现在了真实标签中。与以往决定的高度吻合，可能意味着模型连同这种偏见也一并进行了复现。必须对照实际还款结果等独立标准，从核查标签入手。

4-6. 判定标准分值调整适合对不同错误类型与群体的指标进行调整前后的对比；部分知识文档更新适合针对以该文档为依据的问题开展回归评估；基础模型更换则适合在上线前进行全面的重新评估与审批。

4-7. 参考示例：评估问题集应反映实际咨询类型的分布，并充分纳入资格条件、收入标准、申请期限等一旦出错会造成严重损失的类型。评分标准依据与公告及工作指南原文的核对来确定，由两人独立打分并观察一致率。对高风险类型应单独汇报准确率，而不与平均水平混在一起。运行过程中，高风险类型的抽样准确率、异议提出件数以及人工坐席修改比例应按月审查，一旦超过基准阈值则采取应对措施。由于自动化偏差可能导致修改比例偏低，因此应抽取未经修改便直接发送的回答样本进行独立的复查，结合起来共同评估。

第5章

5-1. 标准、现状、原因、影响。Yellow Book规定应在审计目标所需范围内展开这四项要素，并说明如果目标仅为确认现状，则仅展开现状即可（GAO 8.116, 8.128）。

5-2. 如果仅止步于员工个人的行为，管理建议就会变成培训或问责，同样的问题还会在其他员工身上重演。必须依据证据进一步深究该员工为何没有落实。更优的原因表述示例：“由于未明确将标准修订内容反映至知识文档的责任人与期限，导致修订事实未能传达至运营部门。”

5-3. 缺陷的严重程度并不取决于是否产生了实际损失，而是取决于控制未能防止或发现错误的合理可能性及其潜在影响程度（AS 2201 .63–.64）。因此，应根据该可能性和影响程度，对照公司的等级标准来确定。

5-4. 建议必须提出给具备执行权限的一方，且必须具体、可行、具备成本效益并可衡量。“加强 AI 管理体系”这一表述既没有明确接收人，也缺乏具体措施和衡量方法，并且看不出与原因之间的关联。

5-5. ① 由于该意见与发现事项产生冲突，需评估其合理性及支持证据。② 若该意见有充分、适当的证据支持，则修改报告。③ 反之，则维持发现事项，并在报告中载明负责人的书面意见（或其摘要）以及不同意的理由。被审计组织的同意并不是发布报告的前提条件。

5-6. (a) 每季度执行的人工检查，需在运行数次后，抽取该期间的执行记录样本进行测试，方可予以终结。(b) 系统配置变更则需直接核实配置情况，并通过测试输入观察其运行效果，在有效的变更管理下确认此后配置未再发生变动，方可予以终结。

5-7. 示例：① 以书面形式获取管理层的决定、决定理由以及决策人。② 审计负责人判断所接受的风险是否在组织的风险偏好与容忍度限度之内。③ 若在限度之内，则将接受风险的决定及依据记录在跟踪系统中，结束对该发现事项的跟踪。④ 若超出限度，则与最高管理层沟通商议；若仍未解决，则向董事会报告。承担风险与采取措施的责任在管理层，审计团队不得代为其建立控制措施。