第5章 公平性の点検とガバナンス

学習目標

• 選抜率と選抜率比を計算し、4/5経験則が示すことと示さないことを区別する。
• 標本サイズと統計的有意性を考慮して集団間の結果の差を解釈し、段階別分析によって差が生じている位置を特定する。
• 点検結果に応じた適切な措置を選択し、集団別の基準点のような不適切な措置を見分ける。
• 定期点検および変更時点検の周期と契機を定め、ベンダーに要求すべき検証資料を選定する。
• NIST AI RMFの4つの機能を用いて、採用AIの責任体系と運用ルールを設計する。

はじめに

ある会社の四半期報告書に次のような一文が記載されているとしましょう。「AI書類選考の正確度92%、目標達成」。同じ四半期において女性応募者の通過率は男性の半分でしたが、誰もその数値を計算していませんでした。また別の会社では、障害のある応募者9人のうち1人しか通過しなかった結果を見て、「ツールにバイアスがある」として直ちに廃棄しようとしています。前者の会社は見落としており、後者の会社は少なすぎる数値をもとに大きすぎる結論を下してしまっています。

公平性の点検は、計算よりも解釈のほうが困難です。どの集団を比較するのか、どの段階を見るのか、標本は十分か、差は偶然なのか、差の原因は何なのか、そして何をすべきなのか。そして、これらの問いに答える人物と手順が定められていなければ、点検結果は報告書の中だけにとどまってしまいます。

本章は数値から始まり、組織の話で終わります。まず選抜率と4/5経験則、標本と有意性、段階別分析について学びます。続いて、点検結果を適切な措置へと反映させる方法、点検周期、ベンダー検証資料を扱います。最後に、NIST AI RMFの4つの機能に沿って、誰が何の責任を負うのかを定め、運用ルールを作成します。

重要な概念

公平性は何を測るのか

NIST AI RMFは、信頼できるAIの特性として7つを挙げています。妥当で信頼できること（Valid and Reliable）、安全であること、セキュリティと回復力を備えていること、責任性と透明性を備えていること、説明可能かつ解釈可能であること、個人情報保護を強化すること、そして有害なバイアスが管理されて公平であること（Fair – with Harmful Bias Managed）。NISTは、これらの特性の間には通常トレードオフが存在し、すべての特性があらゆる状況で一律に適用されるケースは稀であると述べています。

公平性に関してNISTが強調している点は2つあります。1つは、バイアスがデータやアルゴリズムからだけでなく、体系的（systemic）、計算・統計的（computational and statistical）、人間・認知的（human-cognitive）なカテゴリーから生じるということです。もう1つは、有害なバイアスを低減したシステムが必ずしも公平であるとは限らないということです。単一の数値が基準を超えたからといって公平性が確認されたわけではなく、点検とは判断の材料を作成する作業なのです。

採用AIにおける最も基本的な公平性の点検は、結果の差を見ることです。集団ごとに次の段階へ進む割合がどれほど異なっているか。その差が職務に関連する理由によって説明できるか。本章はこの問いを中心に進めます。

選抜率と選抜率比

選抜率とは、ある集団の応募者のうち次の段階へ通過した人の割合です。選抜率比とは、比較集団の選抜率を、最も選抜率が高い集団の選抜率で割った値です。

この例における集団Bの選抜率比は、22 ÷ 30 ≈ 0.73となります。計算自体は単純ですが、何を集団とみなすか（性別、年齢層、障害の有無）、どの段階の通過を見るか（書類、適性検査、面接、最終）をあらかじめ定めておく必要があります。

4/5経験則：示すことと示さないこと

米国連邦機関の「選抜手続きに関する統一指針」（29 CFR 1607.4(D)）は、人種・性別・民族集団の選抜率が最も高い集団の選抜率の4/5（80%）未満である場合、連邦法執行機関は原則として不利な影響の証拠とみなし、4/5を超えている場合は原則として証拠とみなさないという経験則を定めています。本書ではこれを、韓国企業に適用される法律としてではなく、結果の差を読み解くための出発点として紹介します。

同条項は、この経験則の限界についても明確に記しています。

韓国の法律において、同様の問いは間接差別の条文へとつながります。男女雇用平等法（韓国）第2条第1号では、同一の条件を適用したとしても、その条件を満たすことができる一方の性が他方の性に比べて著しく少なく、特定の性に不利な結果が生じ、かつその条件が正当であることを証明できない場合は差別とみなされます。高齢者雇用法（韓国）第4条の4第2項でも、合理的な理由なく年齢以外の基準を適用して特定の年齢集団に著しく不利な結果をもたらす場合は年齢差別とみなされます。したがって、4/5経験則は「問題が存在するか」を検知するシグナルとして活用し、「問題ではない」ことを証明する道具としては使用しません。

標本サイズと統計的有意性

統計的有意性とは、観察された差が偶然だけで生じたとは考えにくい度合いを意味します。直感的に理解してみましょう。コインを10回投げて表が7回出たとしても、コインが偏っていると断定することは困難です。しかし、1万回投げて7,000回出たのであれば、偶然とは考えにくくなります。

実務では、2集団の通過率の差をカイ二乗検定で確認し、クロス集計表の期待度数が5未満のセルが生じるほど人数が少ない場合はフィッシャーの正確確率検定を用います。方法を定めるのが難しい場合は、統計担当者とともに点検計画にあらかじめ記載しておきます。小さな標本において結論を保留している間も、応募者の不利益を軽減するための仕組みが必要です。例えば、該当集団の不合格となった案件を人間が再検討することなどが挙げられます。「標本が小さいから何もしない」ことと、「標本が小さいから判断を保留するが不利益は防ぐ」ことは異なります。

段階別分析

最終合格率だけを見ていては、差がどこで生じたのかを把握できません。採用は複数の段階を経るため、段階ごとに集団別の通過率を個別に計算してこそ、AI書類評価が原因なのか、人間が行う面接が原因なのかを見分けることができます。

各段階の通過率は、その段階を受験した人数に対する通過した人数の割合です。

この例であれば、AI書類評価よりも面接段階を優先して確認すべきです。公平性の点検とは、AIのみを見る作業ではなく、採用プロセス全体を見渡す作業なのです。

エラーの集団別の差

通過率に加えて、エラーの差も確認します。AIが実際には職務要件を満たしている応募者を低く評価してしまうエラー（見落とし）が、特定の集団に偏っていないかを検証します。人間が再検討した標本の中から、集団ごとに「要件を満たしていると人間が判断した応募者」のうち、AIが不合格とした割合を計算します。集団の規模が異なるため、件数ではなく割合で比較する必要があります。複数の公平性基準（通過率の均衡、エラー率の均衡など）は同時に満たすことが困難な場合が多いため、どの基準を優先するのか、およびその理由を文書として定めておく必要があります。NISTが述べる特性間のトレードオフは、ここで具体的な形となって現れます。とりわけ2つの集団における実際の適格者比率（ベースレート）が異なる場合、通過率の均衡とエラー率の均衡を両立させることは一般的に不可能であることが知られているため、この選択はあらかじめ定めておかなければなりません。

点検結果を措置に変える

点検結果ごとに原因が異なるため、講ずべき措置も異ならなければなりません。

点検の数値を合わせるために集団ごとに異なる合格基準点を設けることは、適切な措置ではありません。 原因を放置したまま、集団を理由に異なる扱いをすることになるからです。差を生み出している項目や段階を特定して是正することが原則です。積極的雇用改善措置（アファーマティブ・アクション）や法律に定められた支援措置のように、法的根拠と目的が定められた優遇制度はこれとは別の問題であるため、そのような制度を運用している場合はその根拠を別途確認します。

点検周期と契機

公平性の点検結果は、点検を実施したそのシステムに対してのみ有効です。そのため、周期と契機を併せて定めます。

1. 定期点検：四半期または半期ごとに同様の手法で実施。結果を文書として記録し、推移を比較する。
2. 変更時点検：モデルのバージョン、入力項目、基準点、重み付けが変更されるたびに、定期点検とは別に同様の手法で実施。
3. 異常シグナル点検：通過率の急変、異議申し立ての増加、検討者からの報告があった際に即座に実施。

特に課外活動の記録のように新たに追加する入力項目については、特定の集団が参加しにくい項目ではないかを変更前の点検で確認します。NIST AI RMF MANAGE 3.1では、サードパーティ製のリソースのリスクと効果を定期的に点検し統制を適用することを求めているため、ベンダーによるモデルのアップデートはそれ自体が点検の契機となります。

点検に用いる集団情報

集団別の結果を計算するためには、集団情報が必要です。しかし、点検のために情報を収集することも個人情報の処理に該当します。障害の有無のような健康に関する情報は、要配慮個人情報（敏感情報）に該当する可能性があります（個人情報保護法（韓国）第23条）。公平性の点検目的のためだけに必須入力とはせず、法令上の根拠がない場合は、他の処理とは区別した個別の同意を取得し、拒否した場合でも不利益が生じないようにします。原則は次のとおりです。すでに確保されている情報で計算できるものについては、新たに取得しない。新たに取得する必要がある場合は点検目的を明示して自発的に提供してもらい、提供しなくても不利益が生じないようにする。点検用の情報は評価システムから分離して保管し、評価者が閲覧できないようにする。

ベンダーへの検証資料の要求

ベンダーのAIを使用する場合であっても、リスク管理の責任はそれを使用する企業側にもあります。NIST AI RMF GOVERN 6.1は、サードパーティに関連するAIリスクを扱うポリシーと手順を整えるよう求めています。契約時や更新時に要求すべき資料は次のとおりです。

「全体の正確度」という1行の記載や、顧客満足度、受賞実績などは、これらの問いへの答えにはなりません。「ベンダーがすべての責任を負う」という確約書であっても、企業の点検の責任を免除することはできません。高影響AIを利用した製品・サービスを提供する事業者は基本権影響評価を実施するよう努めなければならず（AI基本法第35条）、国家機関等は影響評価を実施した製品を優先的に考慮しなければならないため、ベンダーに対して影響評価の実施有無とその結果の要約についても確認しておきましょう。

NIST AI RMFの4つの機能

自主的に活用するフレームワークであるNIST AI RMFのCoreは、AIリスク管理を4つの機能に分類しています。GOVERNは、リスク管理の文化と責任を確立する機能であり、他の3つの機能全体に横断的に関わっています。MAPは、AIシステムのコンテキストを把握してリスクを整理します。MEASUREは、定量的・定性的な手法を用いてリスクを分析・評価します。MANAGEは、把握・測定したリスクにリソースを配分して対応します。NISTは、これらの機能はどのような順序で実行してもよいとしつつも、多くの利用者がGOVERNを基盤としてMAPから着手し、MEASURE、MANAGEへと進めていくと説明しています。

責任体系と運用ルール

NIST AI RMF GOVERN 2.1は、AIリスクの把握・測定・管理に関する役割と責任、コミュニケーション経路を文書で定めるよう求めており、GOVERN 2.3は組織の経営陣がAIリスクに関する決定の責任を負うよう求めています。採用AIの運用ルールには、最低限以下の内容を含める必要があります。

1. 運用責任者：ツールごとに1名。ベンダーの連絡窓口とは異なる。
2. 変更統制：ベースライン、重み付け、入力項目、モデルのバージョンを誰が変更でき、誰が承認するのか。変更履歴を記録に残す（役割はGOVERN 2.1、変更管理はMANAGE 4.1）。
3. 停止権限と基準：どのようなシグナルが発生した場合に、誰が利用を停止して人間による審査へと切り替えるのか（MANAGE 2.4）。
4. 点検スケジュール：定期点検、変更時点検、異常シグナル点検の周期と担当者、報告ルート（GOVERN 1.5）。
5. 異議申し立てルート：応募者が結果に対して異議を唱える経路と処理期限、その内容を点検に反映する手順（MEASURE 3.3、GOVERN 5.1）。自動化された決定であるならば、第2章の拒否・説明・再審査要求の手順および30日の期限をこのルートに合わせておく。
6. 記録と保存：点検結果、決定記録、変更履歴の保存期間とアクセス権限。

採用AI制度を新設したり大幅に変更したりすることは、労使協議会の協議事項に関連する場合があるため（勤労者参与法（韓国）第20条第1項第2号・第5号・第9号）、運用ルールに協議の時期についても記載しておきます。

インシデント対応

通過率の急変のように、実際の応募者への不利益が現在進行形であるシグナルが検知された場合、手順は明確です。まず停止し（人間による審査や旧バージョンへの切り替え）、影響を受けた応募者を再審査し、原因を調査して、再発防止策を策定します。NIST AI RMF MANAGE 4.3は、インシデントやエラーを、影響を受ける人々を含む関係主体に通知するよう求めています。これとは逆に、同様の問題が実際の応募者に適用される前のテスト段階で発見されたのであれば、停止すべき運用も再審査すべき応募者も存在しないため、原因の分析と修正、同一基準による再検証が肝要となります。そして、設定の変更が結果に反映される前に発見され差し戻されたのであれば、肝要なのは再審査ではなく、変更統制の不備を埋めることです。

さらに深く

集団別の基準点が解決策にならない理由

結果の差を最も素早くなくす方法は、集団ごとに合格ラインを変えることです。しかし、これは2つの理由から解決策にはなりません。第一に、差を生み出した原因（代理変数、検証されていない指標、偏った面接）がそのまま残るためです。数字だけを合わせてしまうと、次の採用でも同じ問題が繰り返され、原因を究明する動機も失われます。第二に、性別や年齢を理由に異なる基準を適用することは、それ自体がその特性を理由に異なる扱いをすることになるためです。男女雇用平等法（韓国）の積極的雇用改善措置（アファーマティブ・アクション）のように法律が定めた例外は、目的と性格が明確に定められているため、点検の数字を合わせるための基準調整と同列に扱うことはできません。原則は常に、原因を突き止めて是正することです。

公平性指標が良好でも終わりではない

集団別の通過率が近似していても、ツールが職務と無関係な事柄を測定しているなら、すべての集団にとって等しく悪いツールです。公平性は妥当性の上に成り立っています。スコアが職務成果と関連しているという根拠（MEASURE 2.5）が先であり、その上で集団別の結果（MEASURE 2.11）を見ます。妥当性の根拠は2つの観点から積み上げます。要件が職務分析から導かれた業務に対応しているという根拠（内容妥当性）、そしてスコアが実際の成果と関連しているという根拠（基準関連妥当性）です。逆に、妥当性が確認された要件が特定集団に不利な結果をもたらす場合は、その要件の正当性を文書として記録し、同じ目的をより排他的でない形で達成する方法がないか検討した上で、結果を継続的に点検しなければなりません。この2つの問いを切り離して考えないと、「公平だから良いツール」あるいは「妥当だから公平なツール」という同種の錯覚に陥ることになります。

ガバナンスは一度の承認ではない

多くの組織が、AI導入の承認会議をガバナンスだと考えています。NIST AI RMFは、GOVERNをAIシステムのライフサイクル全体にわたって継続的に必要とされる機能であり、他の機能に溶け込んでいなければならない機能と位置づけています。採用AIにおいては特にそれが当てはまります。応募者の構成は年ごとに変わり、ベンダーはモデルを変更し、職務要件も変化します。導入時の検証結果は、時間の経過とともに静かに陳腐化していきます。そのため、ガバナンスの中核は承認文書ではなく、インベントリ（何を使用しているのか）、責任者（誰が監視しているのか）、契機（いつ見直すのか）、そして停止権限（誰が止められるのか）なのです。

実務の場面

夏産業の点検会議

産業用素材メーカー「夏産業」は、四半期点検において、障害のある応募者9人のうち1人だけがAI書類選考を通過したという結果を受け取りました。健常者の応募者の通過率は35%でした。会議では意見が分かれました。一方は「選抜率比が約0.32なのでツールを直ちに廃棄しよう」と主張し、もう一方は「9人は少なすぎて意味がないので不問に付そう」と主張しました。

点検担当者は、どちらの意見も受け入れませんでした。9人では比率の振れ幅が大きく、結論を出すのが困難である点は認めました。しかし、不問に付す代わりに3つの提案を行いました。今週中に過去4四半期のデータを束ねて再計算し、統計的有意性を確認すること。分析が完了して対応策が決まるまで、進行中の選考における障害のある応募者の書類選考不合格案件は人間が再検討すること。そして、障害のある応募者の応募書類に共通して見られる特徴（例：キャリアの空白期間、特定の形式の自己紹介書）がスコアにどう作用しているのかを項目別に精査することです。オンライン検査と面接において、配慮申請窓口が適切に案内されていたかも併せて確認しました。

4四半期分を束ねたところ、障害のある応募者は41人中5人（12%）、健常者の応募者は3,600人中1,260人（35%）が通過し、選抜率比は約0.35となりました。障害のある通過者が5人のみで期待度数が低いセルが存在したため、フィッシャーの正確確率検定を用いたところ、その結果も偶然とは考えにくい有意な差でした。項目分析では「直近2年間の連続勤務期間」という変数が大きく作用しており、この変数の職務関連性は一度も検証されたことがありませんでした。同社はこの変数を検証が完了するまで不合格判定の基準から外し、変更後の結果を同様の方法で再測定することにしました。採用しなかった選択肢は、「障害のある応募者に限って合格ラインを引き下げよう」というものでした。原因となっている変数を放置する手法だったからです。

つるべ建設の運用ルール策定

建設会社「つるべ建設」は、採用に3種類のAIツール（書類選考、適性検査の採点、面接の要約）を使用していましたが、導入した部署がそれぞれ個別に管理していました。ある日、書類選考ツールの自動不合格基準ラインが変更された理由を誰も説明できないという事態が発生しました。担当者1人がスケジュールに追われて独断で変更したものであり、幸いにも変更後の基準がどの応募者の評価にも適用される前に発見されました。

人事チームはこの出来事を契機に、運用ルールを策定しました。第一に、採用AIのインベントリを作成し、3つのツールの目的、ベンダー、バージョン、責任者、次回の点検日を1つの表にまとめました（GOVERN 1.6）。第二に、ツールごとの運用責任者を指定し、基準ライン・重み付け・入力項目・モデルバージョンの変更は、運用責任者の申請と人事担当役員の承認を経た上で、変更履歴を記録として残すようにしました（GOVERN 2.1、MANAGE 4.1）。第三に、通過率が直前四半期比で一定の幅を超えて変動した場合、運用責任者が即座に人間の審査へと切り替えられるようにしました（MANAGE 2.4）。第四に、ベンダーとの更新契約に、モデル変更の事前通知および旧バージョンの維持条件を盛り込みました（GOVERN 6.1、MANAGE 3.1）。第五に、応募者からの異議申立てルートと処理期限を採用案内に公開し、異議申立ての内容を四半期点検の議題に上程するようにしました（MEASURE 3.3）。

この過程で、「今回は実害がなかったのだから、当該担当者の再教育で済ませよう」という意見もありました。しかし、原因は個人にあるのではなく誰が変更できるかを定めていなかった構造にあったため、教育だけでは別の担当者が同じ過ちを繰り返すおそれがあると判断し、ルールを策定する道を選びました。

間違えやすいポイント

• 「全体正解率が目標を超えているから公平だ」 全体正解率は集団別の結果を示してくれません。
• 「4/5を超えているから問題ない」 大規模なサンプルでは、統計的・実務的に意味のある小さな差であっても不利な影響となり得ます。
• 「4/5に満たないからツールを廃棄する」 サンプルサイズが小さい場合は結論を保留してデータを束ねて再確認し、その間の不利益を防ぐ仕組みを設けます。
• 「最終合格率だけを見ればよい」 選考段階ごとに分けることで、原因がAIにあるのか人間にあるのかを見分けることができます。
• 「集団ごとに合格ラインを変えれば解決する」 点検の数字を合わせるための基準調整は、原因を放置したまま集団を理由に異なる扱いをする行為です。法律で定められた優遇制度とは区別します。
• 「点検用だから障害の有無を必須で取得する」 点検目的のみを理由に機微情報の提出を必須にしてはなりません。法的根拠がない場合は別途同意を得て取得し、分離して保管します。
• 「ベンダーのモデルだからベンダーがリスクを管理する」 サードパーティのAIであっても、それを使用する企業側でリスク管理の対象となります。
• 「ガバナンスとは導入承認会議のことだ」 インベントリ、責任者、点検契機、停止権限が、ライフサイクル全体にわたって機能していなければなりません。

ひと目でわかるまとめ

公式ドキュメントで確認する

• NIST AI RMF — Characteristics of trustworthy AI — 7つの特性とトレードオフ、バイアスの3つのカテゴリーを確認します。
• NIST AI RMF — Core — GOVERN 1.6・2.1・2.3・6.1、MEASURE 2.11・3.3、MANAGE 2.4・3.1・4.3を探して確認します。
• 29 CFR 1607.4 — Information on impact — (D)項の4/5ルールとその限界を原文で確認します。
• 男女雇用平等法（韓国）第2条 — 間接差別と積極的雇用改善措置（アファーマティブ・アクション）の定義を確認します。
• 高齢者雇用法（韓国）第4条の4 — 年齢以外の基準による年齢差別の見なし規定を確認します。
• AI基本法（韓国）第33条・第34条 — ベンダーに確認すべき高影響AI該当性の検討と事業者の責務を確認します。

セルフチェック

5-1. NIST AI RMFが定義するバイアスの3つのカテゴリーを挙げ、「有害なバイアスを低減したシステムが必ずしも公平であるとは限らない」という言葉が点検実務に与える示唆を1文で記述してください。

5-2. 応募者1,500人のうち450人が通過した集団と、応募者600人のうち120人が通過した集団があります。選抜率比を計算し、4/5ルールに照らして解釈してください。

5-3. 29 CFR 1607.4(D)が4/5ルールの例外として挙げている2つの方向性（より小さな差、より大きな差）について、それぞれ説明してください。

5-4. 最終合格率のみを集団別に計算してきた組織に対して段階別分析が必要とされる理由を述べ、段階別分析によって原因が人間の評価段階に絞り込まれた場合に選択できる対策を2つ記述してください。

5-5. 集団ごとに合格ラインを変える措置が解決策にならない理由を2点記述してください。

5-6. 公平性点検における3つの契機を挙げ、ベンダーによるモデルのアップデートがどの契機に該当するか、およびその際にベンダーへ要求すべき資料を記述してください。

5-7. （設計）1つの採用AIツールを対象として、運用ルールの6大要素（責任者、変更管理、停止権限、点検スケジュール、異議申立てルート、記録保持）を1枚に設計し、各要素をNIST AI RMFのサブカテゴリー1つと紐づけてください。

実習課題