第 4 章 模型与数据风险验证

学习目标

• 计算准确率、精确率、召回率和假阳性率，并与恰当的基线进行比较。
• 基于评估集的代表性、与训练集的分离程度以及测试时间点，验证关于模型性能的论断。
• 分组查看不同群体的性能表现，综合考虑样本量较少群体的不确定性以及真实标签的偏向性，验证是否存在偏差。
• 检查训练与运行数据的来源、标签质量以及数据增强情况。
• 在发生模型变更和数据变化时，判断是否需要重新验证并确定其验证范围。

引言

某银行数据团队在向管理层的汇报材料中写道：“新欺诈交易检测模型的准确率达到 99.8%。”这个数字看似令人印象深刻，但审计人员立刻提出了几个问题：在全部交易中，欺诈交易占百分之几？如果欺诈比例只有 0.1%，那么即便是一个把所有交易都判定为正常的“模型”，其准确率也能达到 99.9%。如此看来，99.8% 甚至可能是一个连什么都不做都不如的数字。

在 AI 系统的各类风险中，最具有 AI 特色的风险源自模型和数据。模型仅在评估时的特定条件下才能保证其性能；数据会随着时间推移而发生变化；而学习了人类过往决策的模型，甚至会连带学来这些决策本身的偏见。审计人员虽然不亲自构建模型，但必须能够判断关于模型的各种论断是否有充分证据支撑。为此，比起复杂的数学计算，更需要养成追根究底的习惯：探究数字究竟是与什么进行对比的，又是在何种条件下测量出来的。

本章首先学习描述性能的专业语言，即有效性、可靠性、准确度的含义以及混淆矩阵的各项指标和基线。随后，探讨评估集应具备的条件以及生成式 AI 的质量衡量方法，并考察偏差与分组群体性能、数据来源与质量。最后，总结系统运行过程中的变化以及模型变更后的重新验证范围。

核心概念

有效性、可靠性、准确度与稳健性

NIST AI RMF 将可信 AI 的特征中“有效且可靠”列为支撑其他特性的基础必要条件。相关术语的含义如下：

• 有效性确认（validation）：通过提供客观证据，确认特定的预期用途或应用要求已得到满足（NIST 引用 ISO 9000:2015）。
• 可靠性（reliability）：在规定条件下和规定时间内，无故障地按要求运行的能力。
• 准确度（accuracy）：观测、计算或估计结果与真值或公认真值的一致程度。
• 稳健性（robustness）：在各种不同情境下保持既定性能水平的能力。

NIST 指出，在衡量准确度时，应考虑假阳性率和假阴性率等计算指标、人机协同工作时的性能表现，以及超出训练条件之外的泛化能力；并说明准确度的测定必须始终附带能够代表实际使用条件的、明确且逼真的评估集以及测试方法的具体细节。此外还要求可以按数据区间细分查看结果，并充分考虑到某些失效会造成更为严重的危害。

混淆矩阵与指标

分类模型的结果通常整理为四格矩阵。以欺诈交易检测为例：

由此四格衍生出各项指标。

我们用具体数字来演练一下。假设在 50 万笔交易中，实际欺诈为 500 笔，模型将 600 笔标记为欺诈，其中 450 笔为实际欺诈。此时 TP 为 450，FP 为 150，FN 为 50，TN 为 499,350。召回率为 450÷500 = 90%（假阴性率为 50÷500 = 10%），精确率为 450÷600 = 75%，假阳性率为 150÷499,500 ≈ 0.03%（特异度约为 99.97%），准确率为 499,800÷500,000 = 99.96%。然而，即使将所有交易都判定为正常，准确率也有 499,500÷500,000 = 99.9%。在此案例中，准确率几乎说明不了模型的实用价值，而召回率和精确率才道出了核心所在。

哪个指标更重要取决于错误的代价。漏掉欺诈会导致实际损失（假阴性），而误拦正常交易则会给客户带来不便（假阳性）。在医疗筛查等遗漏代价极高的场景中，召回率至关重要；而在误拦正常客户代价较高的场景中，精确率和假阳性率更为关键。请牢记这两个指标的分母是不同的。当正常交易占绝大多数时，假阳性率可能表现得极小（如 0.03%），但在同一案例中，精确率 75% 意味着每四次报警中只有三次是真正的欺诈，而有一次是误拦了正常客户。精确率更能直观反映客户的不便程度和调查工作量。

基线

性能数值必须有对比对象才有意义。审计人员通常使用三种基线：

1. 多数类基线：将所有案例均判定为最常见结果时的性能。在解读旨在检测罕见事件的模型的准确率时，必须参考该基线。
2. 既有方式基线：引入 AI 之前的基于规则的系统或人工的性能表现。用于验证“AI 带来了改善”这一论断。
3. 人类基线：人类对相同案例进行判断时的性能表现。用于验证“比人更准确”这一论断。

与基线进行对比时，必须采用相同的案例、相同的时间段以及相同的评分标准。将三年前基于其他案例测得的人工错误率，与基于近期数据测得的 AI 错误率并列在一起的表格，根本算不上有效对比。

评估集应具备的条件

NIST AI RMF 要求将测试、评估、验证与确认（TEVV）所使用的评估集、指标和工具形成文档（MEASURE 2.1），在与部署环境相似的条件下证明性能（MEASURE 2.3），证明拟部署系统的有效性与可靠性，并记录超出开发条件之外的泛化局限（MEASURE 2.5）。审计人员针对评估集应提出以下五个问题：

1. 分离性：评估案例是否未用于训练？如果同一客户或同一账户的记录分别分散在训练和评估中，模型可能会死记个别特征，导致其在评估集上的得分高于面对全新客户时的表现。此类问题被称为数据泄漏。
2. 代表性：是否反映了实际使用条件，即交易金额区间、咨询类型的分布、客户构成以及季节性等？以简单案例为主的数据集会高估实际运行性能。
3. 时间点：是在何时测量的？如果测量后产品构成或客群发生了较大变化，过往的数值就无法作为当前性能的证据。
4. 真实标签的质量：真实结果（标签）是由谁、通过何种方式标注的？如果标签存在错误或缺乏一致性，所有指标都会失去意义。
5. 指标的恰当性：所选指标是否契合错误的代价？若针对罕见事件仅汇报了准确率，就必须重新计算。

生成式 AI 的质量衡量

生成式 AI 的输出往往没有唯一的标准答案，因此衡量难度更大。NIST AI 600-1 将虚谈（confabulation，即以确定口吻表述的错误或虚假内容的生成，通常被称为幻觉）列为生成式 AI 的固有风险。审计人员应确认以下几点：

• 与官方标准对照：满意度或“是否有帮助”的比例可能反映的是回答看似合理的程度，而非回答的准确性。准确性必须通过与官方权威资料进行对照来衡量。
• 按类型分别衡量：针对利率、资质要求、医疗信息等一旦出错危害极大的问题类型，应单独进行衡量，避免被整体平均值所掩盖。
• 人工修改比例的解读：客服人员未经修改直接发送的比例并不等同于初稿的准确度。出于自动化偏差，错误的初稿也可能被原样发出。
• 评估方法的文档化：必须记录使用了哪些问题集、依据何种评分标准、由谁进行评分，这样才能复现并对比结果。

偏差的三大类别

NIST 将 AI 的偏差分为三大类别。系统性偏差可能存在于数据集、组织的规范与惯例以及使用 AI 的整个社会之中。计算与统计偏差产生于数据集和算法的处理过程，通常源自不具代表性的样本所导致的系统性误差。人类认知偏差则源自人类接收和解读 AI 信息的方式，或源自设计与运营过程中的人为判断。NIST 同时指出，这三类偏差即便在没有任何成见或歧视意图的情况下也可能发生。

这一划分在审计中具有重要意义。开发团队“没有歧视意图”的解释，不能成为终止偏差审查的依据。此外，NIST 还指出，减少了有害偏差的系统并不一定就是公平的。因为即使预测结果在各个群体之间达到了一定程度的平衡，它仍可能对残障人士造成访问困难，或者进一步加剧既有的差距。

分组群体的性能验证

NIST AI RMF 要求评估公平性与偏差并将评估结果形成文档（MEASURE 2.11），GAO 框架也要求评估用于运行的数据的可靠性、质量、代表性及潜在偏差（实践 2.7），并识别系统输出结果中产生的潜在偏差和不平等（实践 3.8）。按群体验证的基本做法是细分查看结果。即便整体准确率很高，特定群体的错误率也可能居高不下。

细分查看时通常会遇到三个问题：

1. 样本量较少的群体。 在只有数十例的群体中，即使出现较大差异也可能是偶然造成的。在审计抽样中，基于样本得出的结论与审查全部总体得出的结论不一致的风险（抽样风险）会随着样本量的减小而增大（AS 2315 .10），同样的原理也适用于此。应延长观察期以积累样本量，并在报告差异的同时报告其不确定性（置信区间）。绝不能因为群体样本少而直接忽视。
2. 代理变量。 即使在输入中去除了性别或年龄，居住地、职业、使用习惯等其他变量也可能起到替代作用。例如，在特定年龄层聚居的地区，居住地就会代为反映年龄信息。因此，“去除了敏感变量就代表没有偏差”这一结论是不成立的。
3. 真实标签的偏差。 将以往审核人员的批准或拒绝决定作为真实标签进行训练的模型，会继承这些决定中所包含的偏向性。此时，与以往决定的一致率并不代表公平，反而可能意味着模型甚至把以往的偏差也照单全收。应当与实际是否还款等独立结果进行比对，从检验标签本身入手。

数据来源与谱系

GAO 框架要求对模型开发所用数据的来源与起因形成文档（实践 2.1），评估其可靠性（2.2），并评估对数据进行分类的属性（2.3）、模型所使用的变量（2.4）以及合成、替代或增强数据的使用情况（2.5）。NIST AI RMF 则要求映射包括第三方数据或软件在内的组件的法律风险，以及侵犯第三方知识产权的风险（MAP 4.1）。

销售商声称的“保证 99% 准确率”或“属于公开数据，任何人都可以使用”，并不能作为质量和合法性的证据。公开数据同样存在许可证和使用限制条件，而销售商的保证只是利益相关方的一面之词。

标签质量

监督学习模型的性能上限取决于真实标签的质量。NIST AI RMF 要求识别并记录数据收集与选择（可用性、代表性、适用性）、概念有效性等科学完整性以及 TEVV 考量事项（MAP 2.3）。检查标签质量的实务方法如下：

1. 标注者间一致率：让多人分别对同一样本独立进行判定，测量其一致性程度。一致率低意味着标准含糊不清或培训不足。
2. 标准文档的一致性：如果是多个分支机构或团队分别进行标注，应比对其依据的标准文档是否一致。
3. 真实标签复查抽样：由专家对标签样本进行重新判定，以衡量错误率。

为扩充数据量而盲目加入标准未经验证的陈旧数据，可能会导致数据质量下降。

运行过程中的变化与监控

模型从部署之日起便开始走向老化。这是因为会出现输入数据分布发生改变的数据漂移，以及输入与结果之间的关系发生变化的概念漂移。GAO 框架要求制定持续监控计划（实践 4.1），设定可接受的数据与模型漂移范围（4.2），并将监控结果与纠正措施形成文档（4.3）。NIST AI RMF 也要求监控运行中系统的功能和行为（MEASURE 2.4），并在部署后的监控计划中纳入用户意见收集、异议提出与撤销、事故响应、恢复以及变更管理（MANAGE 4.1）。

审计人员在审查监控控制措施时，关注的重点不是“是否存在报警”，而是“报警触发后由谁来执行何种应对”。只有同时具备报警触发阈值、接收人员、应对流程以及处置记录，控制措施才能达到预期目的。如果报警响了十四次，处置记录却连一条都没有，那么即使报警功能正常运行，相关控制措施也属于形同虚设。

变更类型与重新验证范围

重新验证的范围应与变更的内容及其对结果产生的影响程度成正比。

供应商所做的变更也应依照同一标准看待。NIST AI RMF 要求将用于开发的预训练模型纳入定期监控和维护管理中（MANAGE 3.2）。供应商公开的基准测试分数并不能代表该模型在贵组织具体问题和数据上的实际性能表现。

重新验证流程与批准标准

良好的重新验证应当具备规范的先后次序：梳理变更内容与影响范围；使用相同的评估集对比变更前后的版本；将对比结果与预先设定的批准标准进行对照，以决定批准或驳回部署；并在部署后根据新版本更新监控基准。NIST AI RMF 要求判断 AI 系统是否达成了预期目的与目标，并据此决定是否继续推进开发或部署（MANAGE 1.1）。

如果在看到结果之后才制定批准标准，重新验证就很容易流于形式。审计人员应确认批准标准是否先于结果以书面形式确立、标准中是否包含各群体的细分指标，以及在未达到标准时是否切实执行过驳回。

深入阅读

公平性的标准并非只有一个

对于“该模型是否公平”这一问题，并不存在唯一的标准指标。在各群体之间拉平批准率、拉平错误率、赋予相同分数相同的意义，分别属于不同的公平性概念，且满足了其中一种就可能与另一种相冲突。NIST 也指出，公平性的标准极为复杂且难以界定，人们对公平性的理解因文化和应用领域而异。

因此，审计人员自行设定公平性标准是危险的。标准应由管理层综合考量法律法规、业务性质以及受影响群体的意见后予以确定并形成书面文档；而审计人员要审查的是该标准是否存在、制定时考虑了哪些因素、是否严格按照标准进行度量，以及超出标准阈值时采取了何种措施。如果缺乏标准，这本身就会构成一项审计发现。如果存在类似“将差异控制在 3 个百分点以内”的数值标准，审计人员则应验证应用该数值时所依据的数据及计算过程。

人机协同下的表现

许多 AI 系统并非替代人类做出判断，而是起到辅助作用。此时至关重要的不是 AI 单独运行的性能，而是人机协同工作时的整体表现。这正是 NIST 要求在准确率评估中必须考量人机协作的原因所在。

协同工作时的表现可能优于 AI 单独运行，也可能劣于后者。若人类能有效甄别并过滤 AI 的错误，表现就会提升；若因自动化偏差而盲目顺从 AI 的错误，表现便会与 AI 单独运行无异；而若人类毫无根据地推翻 AI 的正确判断（即 NIST AI 600-1 所称的算法规避），表现则会变得更差。面对“由于 AI 比人类更准确，因而应减少检查次数”这一决策，审计人员可以要求提供三组数值：在相同案例下，人类单独处理的结果、AI 单独处理的结果，以及人机协同产生的结果。只有掌握这三组数值，才能准确判断削减检查力度究竟会造成何种代价。

工作场景

清风银行：重新解读“准确率 99.8%”报告

“清风银行”的数字金融部提交了一份报告，宣称新的转账欺诈检测模型“准确率达到 99.8%，优于原有的基于规则的系统（99.5%）”。在将该报告采纳为证据之前，审计团队调取了原始数据。

评估数据涵盖了过去 6 个月内的 120 万笔转账，其中欺诈交易仅有 960 笔（0.08%）。审计团队重构了混淆矩阵，发现新模型在 960 笔欺诈中识别出了 610 笔（召回率约为 64%），而在其标记为欺诈的 2,700 笔转账中，仅有 610 笔确属欺诈（精确率约为 23%）。同期原有规则系统识别出了 480 笔欺诈（召回率为 50%）。如果将所有转账一律判定为正常，准确率将高达 99.92%；若单看准确率，两套系统的表现甚至都不如多数类基线，即“什么都不做”。审计团队建议从报告中剔除单纯的准确率对比，转而比较相同周期、相同案例下的召回率、精确率，以及正常客户转账被拦截的笔数。新模型在召回率上的确更具优势，但被误拦的正常转账也明显更多。

审计团队还核查了评估设计。开发团队此前将转账记录随机打乱后划分为训练集和评估集，导致属于同一个欺诈账户的多笔转账同时出现在了两端。审计团队要求改为按账户维度划分并重新评估，结果召回率从 64% 降至 57%。最后，审计团队按年龄段对结果进行细分，发现 70 周岁及以上客户正常转账被拦截的比例是其他年龄段的两倍。该群体在 6 个月内累计转账逾 1 万笔，样本量足够充分。然而，银行尚未制定针对群体间差异的衡量标准。审计团队将缺乏相关标准作为审计发现列入报告，并一并记录了误报对高龄客户造成的影响（转账延迟、呼叫中心核实流程繁琐等）。

合一快递：一份文档、一个模型、一个阈值

快递公司“合一快递”利用 AI 对配送投诉咨询进行分类，由生成式 AI 起草回复初稿，并借助独立的预测模型筛选遗失风险较高的包裹以进行事前核查。审计团队核查了上一季度发生的针对这三项变更的重新验证记录。

第一，因赔偿规定变更，起草回复初稿的 AI 知识库文档中仅更新了《遗失赔偿指南》。运营团队仅提交了一份变更审批单。审计团队以赔偿类咨询占总体咨询的 15% 为由，要求调取针对赔偿问题比对变更前后回复的回归评估记录。由于缺少该记录，审计团队亲自对赔偿咨询样本进行了抽检核验，发现生成的回复中夹杂着未反映新规定的内容。原因在于，除已更新的文档外，包含旧规定的 FAQ 文档仍残留在检索索引的范围之中。

第二，分类 AI 的基座模型被替换为同一供应商提供的新版本。运营团队提交了“供应商基准测试得分提升”的相关材料。审计团队指出基座模型的更换具有全局性的影响范围，要求使用公司内部的真实咨询数据进行全面重新评估。虽然运营团队在更换前针对各类咨询分类的准确率进行了比对评估，但并未事先设立通过标准，而是在查看评估结果后以“无显著差异”为由予以批准。审计团队据此记录了预设通过标准的缺失。

第三，遗失风险模型的判定阈值分数由 0.7 降至 0.6。核查对象的增加虽然减少了遗失事件，但一线核查人员的工作负担增加了 40%。数据团队留存了全网及各区域网点在调整前后的召回率与精确率对比记录，并预先制定了通过标准（总体召回率达到 85% 以上、任一网点均不得低于 70%、设立单日核查件数上限）。审计团队在报告中将此项变更列为重新验证流程的优秀范例，并建议其余两项变更亦应采用预设标准与细分对比机制。

易错点

1. “准确率高就是好模型。” 对于旨在发现小概率事件的模型，必须与多数类基线进行对照。召回率和精确率才能反映核心问题。
2. “使用了未参与训练的数据进行评估，因此没有问题。” 如果同一客户或账户的记录被分别拆分到了训练集和评估集中，那么两者在本质上并未实现真正的数据隔离。
3. “上线时测得的性能就是当前的性能。” 若产品结构或客群结构发生了变化，以往的指标数值便不再能作为当前性能的佐证。
4. “人工坐席直接采纳发送的比例即为初稿的准确率。” 原样发送的比例仅代表人类顺从 AI 建议的程度。
5. “既然输入中剔除了敏感变量，就不存在偏见。” 其他变量可能充当代理变量，且标签本身可能原本就带有偏见。
6. “样本量较少群体的差异可以忽略不计。” 应首先判断该差异是否纯属偶然，并通过延长观察周期加以确认，决不能因样本量小而直接弃之不顾。
7. “数据提供商保证了质量，因此数据值得信赖。” 保证仅是利益相关方的主观声明，其可靠性必须通过独立方式进行核实。
8. “既然供应商基准测试得分有所提升，就无需重新验证。” 基准测试所使用的题目与数据分布与实际业务不同，因而无法反映其在企业自有数据和业务场景下的真实性能。

要点速览

查阅官方文档

• NIST AI RMF — AI Risks and Trustworthiness：有效性、可靠性、准确度、鲁棒性的定义，偏见的三大类别。
• NIST AI RMF — Core：MAP 2.3·4.1，MEASURE 2.1·2.3·2.4·2.5·2.11，MANAGE 1.1·3.2·4.1。
• NIST AI 600-1：Confabulation、Harmful Bias or Homogenization、数据来源信息。
• GAO-21-519SP：Data（2.1–2.8）、Performance（3.1–3.9）、Monitoring（4.1–4.5）原则与审计提问清单。
• PCAOB — AS 2315：抽样风险与样本量之间的关系（.10）。

自测

4-1. 在 20 万笔交易中，实际欺诈交易为 200 笔。模型将 300 笔标记为欺诈，其中 150 笔确属欺诈。请计算该模型的召回率、精确率以及多数类基线的准确率。

4-2. 请用一句话分别阐述 NIST 所定义的有效性确认与可靠性的区别。

4-3. 在审计人员针对评估集提出的五个核心问题中，指出通过随机打乱数据行来划分训练集和评估集时尤为突出的问题，并说明理由。

4-4. 请写出 NIST 所述的偏见的三大类别，并说明为何“开发团队并无歧视意图”这一说法不能作为终结偏见审查的理由。

4-5. 对于以既往经办人员的决定作为真实标签进行训练的模型，说明为何“与既往决定的一致率达到 95%”不能作为证明其公平性的证据。

4-6. 针对调整判定阈值分数、部分更新知识库文档、更换基座模型这三种情形，分别写出与之相匹配的重新验证范围。

4-7. （设计题）请设计一份生成式 AI 公共补贴申领资格指引服务的质量度量计划。方案须包含：评估问题集的构成、评分标准、需单独度量的问题类型，以及运行期间的监控指标。

实操练习