第 5 章 公平性审查与治理

学习目标

• 计算选拔率与选拔率比，区分“4/5经验法则”所表达的内容与未表达的内容。
• 结合样本量与统计学显著性解读群体间的结果差异，并通过分阶段分析找出产生差异的环节。
• 针对审查结果选择恰当的应对措施，甄别并排除按群体设置不同基准分等错误措施。
• 确定定期审查与变更审查的周期与触发时机，筛选向供应商索取的验证材料。
• 基于NIST AI RMF的四大功能，设计招聘AI的责任体系与运行规则。

引言

假设某家公司的季度报告中有这样一行字：“AI简历初筛准确率92%，达成目标。”而在同一季度，女性应聘者的通过率仅为男性的一半，却没有任何人去计算过这一数字。另一家公司看到9名残障应聘者中仅有1人通过的结果后，便认定“该工具存在偏见”，主张立即将其废弃。前一家公司视而不见，后一家公司则仅凭过少的数据妄下了过大的结论。

公平性审查的难点不在于计算，而在于解读：应当对比哪些群体、考察哪个阶段、样本是否充分、差异是否纯属偶然、产生差异的原因是什么，以及接下来该采取何种措施。如果回答这些问题的人选与流程尚未确定，审查结果就只能停留在报告纸面上。

本章始于数据，终于组织。首先，我们将学习选拔率与4/5经验法则、样本与显著性以及分阶段分析。随后，探讨如何将审查结果转化为实际措施、设定审查周期并要求供应商提供验证材料。最后，结合NIST AI RMF的四大功能，明确权责归属并编写运行规则。

核心概念

公平性衡量什么

NIST AI RMF列出了可信赖AI的七大特征：有效且可靠（Valid and Reliable）、安全、具备安全性与韧性、具备问责制与透明度、可解释与可阐明、强化个人信息保护，以及管理有害偏见实现公平（Fair – with Harmful Bias Managed）。NIST指出，这些特征之间通常存在权衡取舍，极少有所有特征在所有场景下均同等适用的情况。

关于公平性，NIST着重强调了两点：其一，偏见不仅来源于数据和算法，还会产生于系统性（systemic）、计算与统计（computational and statistical）以及人类认知（human-cognitive）层面；其二，减轻了有害偏见的系统并不等同于必然公平。某项指标数值达标并不意味着公平性得到了确认，审查的本质是为价值判断提供依据材料。

在招聘AI中，最基本的公平性审查是观察结果的差异：各群体进入下一阶段的比例存在多大差异？这种差异能否基于与岗位工作相关的合理理由得到解释？本章将围绕这些核心问题展开。

选拔率与选拔率比

选拔率是指某个群体的应聘者中进入下一阶段的人数比例。选拔率比则是指对照组的选拔率除以选拔率最高群体的选拔率所得的比值。

在本例中，B群体的选拔率比为 22 ÷ 30 ≈ 0.73。计算本身很简单，但必须首先确定将哪些维度划定为群体（性别、年龄段、是否残障等），以及观察哪个阶段的通过情况（简历初筛、综合素养测评、面试、最终录用等）。

4/5经验法则：表达了什么与未表达什么

美国联邦机构的《员工选拔程序统一指南》（29 CFR 1607.4(D)）确立了一项经验法则：若某一特定种族、性别或族裔群体的选拔率低于选拔率最高群体的4/5（80%），联邦执法机构通常将其视为产生不利影响的证据；反之，若超过4/5，通常不视作证据。本书介绍该规则并非将其作为适用于韩国企业的法律条文，而是作为分析与解读结果差异的一个切入点。

该条款同样明确指出了这一经验法则的局限性：

在韩国法律中，类似问题延伸至关于间接歧视的法律条款。韩国《男女雇佣平等法》第2条第1款规定，即使适用相同条件，但若能满足该条件的一方性别人数显著少于另一方性别，导致特定性别承受不利后果，且无法证明该条件具有正当性，则认定为歧视。韩国《高龄者雇佣法》第4条之4第2款亦规定，无正当理由适用年龄以外的标准而对特定年龄群体造成尤为不利后果的，认定为年龄歧视。因此，“4/5经验法则”应当用作发现“是否存在潜在问题”的预警信号，而绝不能用作证明“不存在问题”的工具。

样本量与统计学显著性

统计学显著性是指观察到的差异并非仅由偶然因素造成的概率程度。我们可以直观地理解：抛掷硬币10次，即便出现7次正面，也很难断定硬币本身是不均匀的；但如果抛掷10,000次，出现7,000次正面，就很难再将其归结为偶然。

在实际业务中，两个群体的通过率差异通常采用卡方检验来验证；当样本人数过少导致列联表中的期望频数存在小于5的单元格时，则采用费希尔精确检验。如果难以确定具体方法，可与统计负责人共同商议，并在审查计划中提前明确记录。在因样本量小而暂缓下结论期间，必须建立相应机制以降低应聘者遭受侵害的风险。例如，可由人工对该群体未通过的案例重新进行复核。“因为样本小所以什么都不做”与“虽然因为样本小而暂缓判断，但全力防止损害发生”有着本质区别。

分阶段分析

仅看最终录用率，无法判断差异究竟源自哪个环节。招聘流程包含多个阶段，因此必须逐一计算各个阶段中各群体的通过率，才能判明原因究竟出自AI简历初筛，还是出自人工面试。

每个阶段的通过率是指该阶段实际参加人数中通过人数的比例。

如果出现上述情况，相较于AI简历初筛，应当优先审查面试阶段。公平性审查不应仅仅局限于观察AI本身，而应审视整个招聘流程全貌。

错误的群体间差异

除通过率之外，还需考察错误的差异。即确认AI将实际符合岗位任职资格的应聘者予以低估的错误（漏选）是否集中在特定群体中。在人工复核的样本中，分别计算各群体在“人工认定符合资格的应聘者”中被AI淘汰的比例。由于各群体的体量不同，必须依据比例而非单纯依据绝对件数进行对比。各项公平性指标（如通过率均衡、错误率均衡等）往往难以同时得到满足，因此必须通过书面文档明确规定优先考虑哪项指标及其背后的考量依据。NIST所提及的各特征之间的权衡取舍，在此处便体现得淋漓尽致。尤其当两个群体实际合格者的基准比率（基础概率）存在差异时，在数学上通常不可能同时兼顾通过率均衡与错误率均衡，因此必须提前明确取舍标准。

将审查结果转化为应对措施

不同的审查结果对应不同的成因，因此应对措施也应有所区别。

单纯为了凑齐审查指标而针对不同群体设置不同合格基准分，绝非恰当的应对措施。 这种做法在根本原因未得到解决的情况下，仅凭群体属性区别对待。根本原则应当是找出产生差异的字段或流程环节并加以纠正。至于积极雇佣改善措施或法律明文规定的法定扶持措施等具有明确法律依据和政策目的的优待制度，则属于另一维度的范畴，若组织正在推行此类制度，需另行确认其法定依据。

审查周期与触发时机

公平性审查的结果仅对接受审查时的系统版本有效。因此，必须将固定周期与触发时机结合起来设定。

1. 定期审查：每季度或每半年以相同方式开展一次。审查结果形成书面文档留存，以对比长期趋势。
2. 变更审查：每当模型版本、输入字段、基准分、权重发生变更时，独立于定期审查，以相同方式开展审查。
3. 异常信号审查：当出现通过率骤变、异议申诉激增、审核人员提交异常报告等情况时，立即开展审查。

尤其是在新增如课外社会活动经历等输入字段时，必须在变更前审查中确认该字段是否存在特定群体难以参与的准入壁垒。NIST AI RMF MANAGE 3.1要求定期审查第三方资源的风险与成效并实施管控，因此供应商对模型的更新本身就是一次开展审查的触发时机。

用于审查的群体信息

要计算不同群体间的结果，必须依赖相应的群体信息。然而，即便是为了审查目的收集信息，同样属于个人信息处理行为。诸如是否残障等与健康相关的信息可能构成敏感信息（韩国《个人信息保护法》第23条）。切勿仅以公平性审查为由将其设为必填项；在缺乏法律法规依据的情况下，必须独立于其他处理目的另行取得单独同意，并确保应聘者拒绝提供时不会遭受任何不利处分。其基本原则如下：凡是利用已有信息即可计算的数据，不再重复采集；确需新采集的，必须明示审查目的并由当事人自愿提供，且不提供亦不应受到任何不利影响；用于审查的信息必须与评价系统实行物理或逻辑隔离，确保评审人员无法查阅。

要求供应商提供验证材料

即便采购并使用供应商的AI系统，风险管理的责任依然由采购使用的企业承担。NIST AI RMF GOVERN 6.1要求组织建立应对与第三方相关的AI风险的政策与流程。在签署合同及续约时，应要求供应商提供如下材料：

“整体准确率”这一行简单数据、客户满意度或获奖经历，根本无法解答上述核心疑问。“由供应商承担全部责任”之类的承诺书，也无法免除企业自身的审查责任。利用高影响人工智能提供产品或服务的企业，应当努力开展基本权利影响评估（韩国《人工智能基本法》第35条），且国家机关等主体应优先考虑选用已开展影响评估的产品，因此请务必向供应商确认是否进行了影响评估并索取评估结果摘要。

NIST AI RMF的四大功能

作为自愿采用的框架，NIST AI RMF的核心（Core）将AI风险管理划分为四大功能：GOVERN旨在建立风险管理文化并落实责任，贯穿于其他三大功能始终；MAP用于梳理AI系统的应用场景与上下文，界定潜在风险；MEASURE通过定量与定性方法对风险进行分析和评估；MANAGE则是为已识别并衡量的风险合理分配资源实施应对。NIST指出，虽然这些功能的执行顺序不限，但绝大多数使用者都会以GOVERN为基石，从MAP切入，进而推进至MEASURE与MANAGE。

责任体系与运行规则

NIST AI RMF GOVERN 2.1要求以书面文档形式明确有关AI风险识别、衡量与管理的角色分工、责任归属及沟通机制；GOVERN 2.3则规定组织管理层须对AI风险相关决策承担责任。招聘AI的运行规则中至少应包含以下要素：

1. 运行负责人：每项工具明确指定1人，与供应商联络接口人明确区分。
2. 变更控制：明确基准线、权重、输入字段、模型版本由谁发起修改、由谁审批，并完整保存变更记录（角色分工对应GOVERN 2.1，变更管理对应MANAGE 4.1）。
3. 停用权限与触发标准：明确出现何种信号时由谁决定暂停使用并切换为人工评审（MANAGE 2.4）。
4. 审查日程：明确定期审查、变更审查、异常信号审查的周期与负责人，以及汇报路线（GOVERN 1.5）。
5. 异议申诉途径：明确应聘者对结果提出异议的渠道、处理时限以及将申诉内容反馈纳入审查的流程（MEASURE 3.3, GOVERN 5.1）。若属于自动化决定，需将第2章中关于拒绝、解释及要求复核的程序和30日期限与该渠道做好衔接。
6. 记录与归档：明确审查结果、决策记录、变更记录的保存期限与访问权限。

新建或重大变更招聘AI制度可能涉及劳资协议会的协商审议事项（韩国《劳动者参与法》第20条第1款第2项、第5项、第9项），因此运行规则中亦应写明协商时机。

事故响应

当出现通过率骤变等表明实际应聘者正在遭受侵害的信号时，处置顺序十分明确：首先暂停使用（切换至人工评审或先前稳定版本），随后对受影响的应聘者重新进行评审，接着展开原因调查，最后制定防止再次发生的对策。NIST AI RMF MANAGE 4.3要求将事故与错误通报给包括受影响人员在内的相关主体。相反，如果同样的问题是在向实际应聘者正式应用之前的测试阶段被发现，由于既无正在运行的系统需要暂停，亦无受影响的应聘者需要重新评审，因此核心任务是分析原因、修复缺陷并按照相同标准重新验证。而如果配置变更在其实际影响选拔结果之前就已被察觉并回滚，核心关键则不在于重新评审，而在于补堵变更控制流程中的漏洞。

深入阅读

为什么针对不同群体设定不同基准分并非解决之道

消除结果差异最快的办法，是为不同群体设置不同的及格线。但出于两个原因，这并非解决之道。第一，导致差异的原因（代理变量、未经验证的指标、存在偏见的面试）依然如故。如果仅仅把数字凑平，下一次招聘中同样的问题仍会反复出现，探究根本原因的动力也会随之消失。第二，以性别或年龄为由适用不同标准，其本身就是基于该特征而进行的区别对待。像韩国《男女雇佣平等法》中的积极就业改善措施这类法律规定的例外情形，其目的和性质都有明确规定，因此不能等同于为了凑平审查数据而调整标准。原则始终是找出原因并加以纠正。

公平性指标良好并不意味着大功告成

即使各群体的通过率相近，如果该工具衡量的是与岗位无关的内容，那么它对所有群体而言都是同样糟糕的工具。公平性建立在效度之上。首先要有证明分数与岗位绩效相关的依据（MEASURE 2.5），在此基础之上再审视各群体的结果（MEASURE 2.11）。效度依据主要从两个方面构建：一是任职要求与工作分析得出的工作职责相对应的依据（内容效度），二是分数与实际工作绩效相关的依据（效标效度）。反之，如果经效度验证的要求对特定群体产生了不利结果，则必须以书面形式记录该要求的合理性依据，探讨是否存在以更少排他性的方式达成相同目标的方法，并持续监测其结果。若不将这两个问题区分开来，就会陷入“因为公平所以是好工具”或“因为有效所以是公平工具”这类同一种性质的认知误区。

治理并非一次性审批

许多组织将 AI 引入审批会议视同治理。NIST AI RMF 将 GOVERN 视为贯穿 AI 系统全生命周期、且必须渗透并融入其他各项功能中的持续性职能。招聘 AI 尤其如此。应聘者构成年年发生变化，供应商会更换模型，岗位要求也在变动。引入系统时得出的验证结果，会随着时间的推移悄然过时失效。因此，治理的核心并非审批文件，而是资产清单（正在使用什么）、责任人（由谁监管）、触发契机（何时重新审查）以及叫停权限（谁有权叫停）。

工作场景

盛夏实业的审查会议

工业材料企业“盛夏实业”在季度审查中发现，九名残障应聘者中仅有一人通过了 AI 简历筛选。非残障应聘者的通过率为 35%。会议上出现了意见分歧。一方认为“选拔率比约为 0.32，应立即停用该工具”，另一方则认为“九个人样本太少，没有实际意义，直接忽略即可”。

审查负责人并未采纳这两种意见。负责人承认，仅凭九个人，比率会出现大幅波动，很难就此得出结论。但负责人并未就此放过，而是提出了三项建议：在本周内汇总过去四个季度的数据重新计算并确认统计学显著性；在分析完成并确定应对方案之前，对当前正在进行的招聘流程中被淘汰的残障应聘者简历进行人工复审；逐项排查残障应聘者申请材料中普遍存在的特征（例如：职业履历断层、特定格式的自我介绍）对评分产生了何种影响。同时，还核查了在线测评与面试中是否对便利措施申请渠道进行了妥善说明。

汇总四个季度的数据后，残障应聘者 41 人中有 5 人通过（12%），非残障应聘者 3,600 人中有 1,260 人通过（35%），选拔率比约为 0.35；由于残障通过者仅有 5 人，存在期望频数较低的单元格，因此使用了费希尔精确检验（Fisher's exact test），检验结果显示该差异难以归结为偶然。在单项分析中发现，“近 2 年连续工作年限”这一变量起到了很大作用，而该变量与工作职责的相关性此前从未得到过验证。公司决定在完成验证前将该变量从淘汰判定标准中剔除，并在调整后以相同方式重新衡量结果。被舍弃的备选方案则是“仅降低残障应聘者的及格线”，因为那种做法保留了作为根本原因的变量。

吊桶建设制定运营规则

建筑企业“吊桶建设”在招聘中使用了三种 AI 工具（简历筛选、综合素质测评评分、面试摘要），但各引入部门各自为政、自行管理。某天发生了一起谁也无法解释简历筛选工具自动淘汰基准线为何被更改的事件。原来是一名经办人员因进度所迫擅自作了修改，所幸在变更后的标准实际应用于任何应聘者评估之前被及时发现。

人事团队以此为契机制定了运营规则。第一，建立招聘 AI 资产清单，将三种工具的目的、供应商、版本、责任人及下次审查日期汇总在一张表格中（GOVERN 1.6）。第二，为各工具指定运营责任人，规定对基准线、权重、输入项及模型版本的变更必须经由运营责任人提出申请、获得分管人事高管审批，并完整保留变更记录（GOVERN 2.1, MANAGE 4.1）。第三，当通过率相比上一季度变化幅度超过设定阈值时，运营责任人可立即切换为人工评审（MANAGE 2.4）。第四，在与供应商的续约合同中加入模型变更提前通知及保留旧版本的条款（GOVERN 6.1, MANAGE 3.1）。第五，在招聘公告中向应聘者公开申诉渠道和处理期限，并将申诉内容列入季度审查议题（MEASURE 3.3）。

在此过程中，曾有人提出“本次事件并未造成实际损失，对相关负责人进行培训即可结案”的意见。然而，导致问题的根源并非个人，而是未对由谁有权变更作出明确规范的体制机制问题；仅靠培训无法杜绝其他经办人员重蹈覆辙，因此最终决定采取制定规则的方式来解决。

易错点

• “整体准确率达到了目标，所以是公平的。” 整体准确率无法反映不同群体的具体结果。
• “超过了 4/5，所以没有问题。” 在大样本中，即使在统计学和实务层面上具有意义的微小差异，也可能构成不利影响。
• “未达到 4/5，所以应废弃该工具。” 若样本量较小，应暂缓得出结论，汇总数据重新评估，并在此期间设置防止产生不利影响的防护机制。
• “只要看最终录取率就行了。” 必须按阶段拆解分析，才能分辨问题的原因究竟出在 AI 还是人工环节。
• “针对不同群体设定不同及格线即可解决。” 为凑平审查数据而调整标准，实际上是在保留根本原因的同时以群体特征为由区别对待。这与法律规定的优待制度应严格区分。
• “因为是用于审查，所以必须强制收集残障信息。” 不能仅以审查为目的将敏感个人信息设为必填项。若无合法依据，应取得单独同意并分开放置保存。
• “既然是供应商的模型，就由供应商负责管理风险。” 第三方 AI 同样属于采购使用该工具的企业的风险管理对象。
• “治理就是引入审批会议。” 资产清单、责任人、审查契机和叫停权限必须贯穿全生命周期并保持持续运作。

要点速览

查阅官方文档

• NIST AI RMF — Characteristics of trustworthy AI — 查阅七大特征与权衡取舍，以及偏见的三大类别。
• NIST AI RMF — Core — 查阅 GOVERN 1.6·2.1·2.3·6.1、MEASURE 2.11·3.3 及 MANAGE 2.4·3.1·4.3。
• 29 CFR 1607.4 — Information on impact — 阅读 (D) 款中关于 4/5 经验法则及其局限性的条文原文。
• 韩国《男女雇佣平等法》第2条 — 确认间接歧视与积极就业改善措施的定义。
• 韩国《高龄者雇佣法》第4条之4 — 确认依据年龄以外的标准视为构成年龄歧视的规定。
• 韩国《人工智能基本法》第33条·第34条 — 查阅向供应商确认的是否属于高影响 AI 的审查规定以及经营者法定义务。

自测

5-1. 写出 NIST AI RMF 所述偏见的三大类别，并用一句话说明“减少了有害偏见的系统并不必然公平”对审查实务带来的启示。

5-2. 现有应聘者 1,500 人中有 450 人通过的群体，以及应聘者 600 人中有 120 人通过的群体。请计算选拔率比，并依据 4/5 经验法则进行解读。

5-3. 分别说明 29 CFR 1607.4(D) 作为 4/5 经验法则例外情形列举的两个方向（更小的差异、更大的差异）。

5-4. 说明以往仅按群体计算最终录取率的组织为何需要开展分阶段分析，并写出当分阶段分析将原因锁定至人工评估环节时可选择的两种应对措施。

5-5. 写出针对不同群体设定不同及格线这一措施并非解决之道的两个原因。

5-6. 写出公平性审查的三种契机，并说明供应商的模型更新属于哪一种契机，以及届时应向供应商索取的资料。

5-7. （设计）针对某一款招聘 AI 工具，将运营规则的六大要素（责任人、变更控制、叫停权限、审查日程、申诉渠道、记录留存）整理为一份单页设计方案，并将各个要素与 NIST AI RMF 的一个子类别建立对应关系。

实操练习