第4章 モデル・データのリスク検証

学習目標

• 正確度、適合率、再現率、偽陽性率を計算し、適切な基準線と比較します。
• モデルの性能に関する主張を、評価セットの代表性、学習からの分離、測定時点を根拠として検証します。
• 集団別の性能を分けて確認し、件数の少ない集団の不確実性と正解ラベルの偏りを考慮してバイアスの有無を検証します。
• 学習・運用データの出所、ラベルの品質、補強の有無を点検します。
• モデルの変更やデータの変化が生じた際に、再検証が必要かどうかとその範囲を判断します。

はじめに

ある銀行のデータチームが経営陣への報告資料にこのように記しました。「新しい不正取引検知モデルの正確度は99.8%です。」数値は印象的ですが、監査人は直ちにいくつかの疑問を投げかけます。取引のうち不正は何%なのか？不正が0.1%であれば、すべての取引を正常と判定する「モデル」であっても正確度は99.9%になります。そうであれば、99.8%という数値は何もしないことよりも劣る数値である可能性すらあります。

AIシステムのリスクの中で最もAIらしいものは、モデルとデータからもたらされます。モデルは評価時の条件下でのみその性能を保証し、データは時間の経過とともに変化し、過去の人間の決定を学習したモデルはその決定の偏りまで学習してしまいます。監査人はモデルを直接構築するわけではありませんが、モデルに関する主張が証拠によって裏付けられているかどうかを判断できなければなりません。そのためには、複雑な数学よりも、数値が何と比較され、どのような条件下で測定されたのかを徹底的に問い続ける習慣が必要です。

本章では、まず性能を語るための言葉、すなわち妥当性・信頼性・正確度の意味と混同行列の指標、基準線を習得します。続いて、評価セットが満たすべき条件と生成AIの品質測定を取り上げ、バイアスと集団別の性能、データの出所と品質を確認します。最後に、運用中の変化とモデル変更後の再検証の範囲を整理します。

重要な概念

妥当性、信頼性、正確度、堅牢性

NIST AI RMFは、信頼できるAIの特性の中で「妥当で信頼できること」を他の特性の基礎となる必要条件として位置づけています。用語の意味は次のとおりです。

• 妥当性確認（validation）：特定の意図された使用や適用の要求事項が満たされていることを客観的証拠によって確認すること（NISTがISO 9000:2015を引用）。
• 信頼性（reliability）：所定の条件下で所定の期間にわたり、不具合なく要求どおりに動作する能力。
• 正確度（accuracy）：観察・計算・推定の結果が真値または真として受け入れられる値に近い度合い。
• 堅牢性（robustness）：多様な状況において性能水準を維持する能力。

NISTは正確度を測定する際、偽陽性率や偽陰性率のような計算指標、人間とAIが協働する際の性能、学習条件を超えた汎化可能性を考慮するよう求めており、正確度の測定は常に実際の使用条件を代表する明確かつ現実的な評価セットおよび試験方法の詳細とともに提示しなければならないと説明しています。また、結果をデータの区間ごとに分けて確認できるようにし、特定の失敗はより大きな被害をもたらすという点も考慮するよう述べています。

混同行列と指標

分類モデルの結果は4つのマスに整理されます。不正取引検知を例にとると、次のようになります。

この4つのマスから指標が導かれます。

数値で練習してみましょう。取引50万件のうち実際の不正が500件あり、モデルが600件を不正と表示し、そのうち450件が実際の不正であったとします。TP 450、FP 150、FN 50、TN 499,350となります。再現率は450÷500 = 90%（偽陰性率は50÷500 = 10%）、適合率は450÷600 = 75%、偽陽性率は150÷499,500 ≈ 0.03%（特異度は約99.97%）、正確度は499,800÷500,000 = 99.96%です。ところが、すべての取引を正常と判定しても正確度は499,500÷500,000 = 99.9%になります。この事例において正確度はモデルの有用性をほとんど物語っておらず、再現率と適合率こそが核心を伝えています。

どの指標が重要であるかはエラーのコストが決めます。不正を見逃すと損失が生じ（偽陰性）、正常な取引を遮断すると顧客が不便を被ります（偽陽性）。医療のスクリーニング検査のように見逃しのコストが大きい分野では再現率が、正常な顧客を遮断するコストが大きい分野では適合率と偽陽性率が重要になります。この2つの指標は分母が異なるという点に注意してください。正常な取引が圧倒的に多ければ偽陽性率は0.03%のように極めて小さく現れますが、同じ事例において適合率75%は、アラート4件のうち3件だけが実際の不正であり、1件は正常な顧客を誤って遮断したものであることを意味します。顧客の不便や調査の業務量は、適合率のほうがより鮮明に示してくれます。

基準線

性能の数値は比較対象があって初めて意味を持ちます。監査人が用いる基準線は3つあります。

1. 多数派クラス基準線：すべての件を最も頻出する結果と判定したときの性能。稀な事象を検出するモデルにおいて正確度を解釈する際に必ず確認します。
2. 従来方式の基準線：AI導入前のルールベースシステムや人間の性能。「AIが改善した」という主張を検証する際に用います。
3. 人間基準線：同じ事例を人間が判断したときの性能。「人間よりも正確である」という主張を検証する際に用います。

基準線と比較する際は、同じ事例、同じ期間、同じ採点基準を用いなければなりません。3年前に別の事例で測定した人間のエラー率と、直近のデータで測定したAIのエラー率を並べた表は、比較とは言えません。

評価セットが満たすべき条件

NIST AI RMFは、試験・評価・検証・妥当性確認（TEVV）に用いた評価セット、指標、ツールを文書化し（MEASURE 2.1）、配備環境と類似した条件で性能を実証し（MEASURE 2.3）、配備するシステムが妥当で信頼できることを示し、開発条件を超えた汎化の限界を文書化するよう求めています（MEASURE 2.5）。監査人が評価セットについて投げかける問いは5つあります。

1. 分離：評価事例が学習に用いられていないか？同じ顧客や同じアカウントの記録が学習と評価に分かれて混入すると、モデルが個別の特徴を暗記してしまい、初めて目にする顧客に対するスコアよりも高く出てしまうことがあります。このような問題をデータ漏洩と呼びます。
2. 代表性：実際の使用条件、すなわち取引金額帯や問い合わせ類型の分布、顧客構成、季節性を反映しているか？平易な事例を中心としたセットは運用の性能を過大評価させます。
3. 時点：いつ測定したか？測定後に商品構成や顧客層が大きく変化した場合、過去の数値は現在の性能の証拠にはなりません。
4. 正解の質：正解（ラベル）は誰がどのように付与したか？ラベルに誤りがあったり一貫性がなかったりすると、指標全体が揺らいでしまいます。
5. 指標の適合性：エラーのコストに見合った指標であるか？稀な事象に対して正確度だけを報告している場合は、再計算しなければなりません。

生成AIの品質測定

生成AIの出力は正解がひとつに定まらない場合が多く、測定が一層困難です。NIST AI 600-1は生成AI特有のリスクとしてconfabulation、すなわち自信を持って述べられた誤ったまたは虚偽の内容の生成（一般にハルシネーションと呼ばれる）を挙げています。監査人は以下を確認します。

• 公式基準との照合：満足度や「役に立ちました」の割合は、回答の正確性ではなくもっともらしさを反映している可能性があります。正確性は公式資料と照合して測定します。
• 類型別の測定：金利、資格要件、医療情報のように、誤った場合の被害が大きい質問類型は、平均に埋もれないよう個別に測定します。
• 人間が修正した割合の解釈：オペレーターが修正なしで送信した割合は、下書きの正確度ではありません。自動化バイアスのため、誤った下書きであってもそのまま送信されてしまうことがあります。
• 評価方法の文書化：どのような質問セットで、どのような採点基準に基づき、誰が採点したのかが記録されていなければ、結果を再現して比較することができません。

バイアスの3つの分類

NISTはAIのバイアスを3つの範疇に分類しています。体系的バイアスは、データセット、組織の規範や慣行、そしてAIを利用する社会全般に存在し得ます。計算・統計的バイアスは、データセットやアルゴリズムの処理プロセスにおいて生じ、代表性のない標本に起因する体系的エラーから頻繁に発生します。人間の認知的バイアスは、人間がAI情報を受け取って解釈する方法、あるいは設計・運用プロセスの判断において生じます。そして、これら3つはいずれも先入観や差別の意図がなくとも生じ得るものだと説明しています。

この区分は監査において重要な意味合いを持ちます。開発チームによる「差別する意図はなかった」という説明は、バイアスの検討を終了させる根拠にはなりません。またNISTは、有害なバイアスを低減したシステムが必ずしも公平であるとは限らないとも述べています。予測が集団間である程度均衡を保っていたとしても、障害のある人にとってアクセスが困難であったり、既存の格差を拡大させたりする可能性があるためです。

集団別の性能検証

NIST AI RMFは公平性とバイアスを評価し、その結果を文書化するよう求めており（MEASURE 2.11）、GAOフレームワークは運用に用いられるデータの信頼性・品質・代表性と潜在的なバイアスを評価し（プラクティス2.7）、システムの結果から生じる潜在的なバイアスと不平等を特定するよう求めています（プラクティス3.8）。集団別検証の基本は、結果を分けて確認することです。全体の正確度が高くても、特定の集団のエラー率が高い場合があります。

分けて確認する際に直面する課題は3つあります。

1. 件数が少ない集団。 数十件程度の集団では、大きな差異であっても偶然生じる可能性があります。監査サンプリングにおいて、サンプルに基づいて導き出した結論が全件を調査したときの結論と異なるリスク（サンプリング・リスク）が、サンプルが小さいほど大きくなること（AS 2315 .10）と同様の原理がここにも適用されます。観察期間を延ばして件数を集め、差異とともにその不確実性（信頼区間）を報告します。規模が小さいからといって無視してはなりません。
2. 代理変数。 性別や年齢を入力から除外しても、居住地、職業、利用パターンなどの他の変数がその役割を代替することがあります。たとえば特定の年齢層が集中して居住する地域であれば、居住地が年齢を代わりに露見させます。「機密変数を除外したためバイアスはない」という結論は成り立ちません。
3. 正解ラベルのバイアス。 過去の審査役による承認・否決の決定を正解として学習したモデルは、その決定に含まれる偏りを受け継ぎます。この場合、過去の決定との一致率は公平性の証拠ではなく、過去のバイアスまで忠実に再現していることを意味する可能性があります。実際の返済の有無のような独立した結果と照合し、ラベルから点検します。

データの出所と系譜

GAOフレームワークは、モデル開発に用いたデータについて出所と起源を文書化し（プラクティス2.1）、信頼性を評価し（2.2）、データを分類する属性（2.3）とモデルに用いた変数（2.4）、合成・代替・補強データの使用（2.5）を評価するよう求めています。NIST AI RMFは、第三者データやソフトウェアを含む構成要素の法的リスクおよび第三者の知的財産権侵害リスクをマッピングするよう求めています（MAP 4.1）。

販売者の「正確度99%保証」や「公開データなので誰もが使っている」という言葉は、品質と適法性の証拠にはなりません。公開データであってもライセンスや利用条件が存在し、販売者の保証は利害関係者の主張にすぎません。

ラベルの品質

教師あり学習モデルの性能は、正解ラベルの品質を超えることはできません。NIST AI RMFは、データの収集と選択（可用性、代表性、適合性）、概念の妥当性といった科学的完全性およびTEVVの考慮事項を特定して文書化するよう求めています（MAP 2.3）。ラベルの品質を点検する実務的な手法は以下のとおりです。

1. 判定者間一致率：同じサンプルを複数の人間が個別に判定し、どれほど一致するかを測定します。一致率が低い場合は、基準が曖昧であるか、教育が不足していることを意味します。
2. 基準文書の一貫性：複数の拠点やチームがラベルを付与した場合、基準文書が同一であるかを比較します。
3. 正解再検討サンプル：専門家がラベルのサンプルを再判定し、エラー率を測定します。

データの量を増やすために基準が確認されていない古いデータを追加することは、品質を低下させるおそれがあります。

運用中の変化とモニタリング

モデルは配備されたその日から陳腐化し始めます。入力データの分布が変化するデータドリフト、入力と結果の関係性が変化するコンセプトドリフトが生じるためです。GAOフレームワークは継続的なモニタリング計画を策定し（プラクティス4.1）、許容可能なデータ・モデルドリフトの範囲を定め（4.2）、モニタリング結果と是正措置を文書化するよう求めています（4.3）。NIST AI RMFも運用中のシステムの機能と動作をモニタリングし（MEASURE 2.4）、配備後のモニタリング計画に利用者の意見聴取、異議申し立てと判定の取り消し、インシデント対応、復旧、変更管理を含めるよう求めています（MANAGE 4.1）。

監査人がモニタリング統制において着目するのは「アラートがあるか」ではなく、「アラートが鳴った際に誰が何をするか」です。アラートの基準、受信者、対応手順、対応記録がすべて揃って初めて統制はその目的を果たします。アラートが14回鳴ったにもかかわらず措置記録が1件もないのであれば、アラート機能は動作していても統制は機能していないことになります。

変更の種類と再検証の範囲

再検証の範囲は、何が変更され、それが結果にどれほど影響を与えるかに比例します。

ベンダーが変更する要素も同様の表に当てはめて捉えます。NIST AI RMFは、開発に用いた事前学習モデルを定期的なモニタリングと保守管理に含めるよう求めています（MANAGE 3.2）。ベンダーが公開しているベンチマークスコアは、貴組織の質問やデータにおける性能を示すものではありません。

再検証の手順と承認基準

優れた再検証には定まった手順が存在します。変更された内容と影響範囲を整理し、変更前後のバージョンを同一の評価セットで比較し、その結果をあらかじめ定めた承認基準と照らし合わせて配備を承認または差し戻し、配備後のモニタリング基準を新バージョンに合わせて更新します。NIST AI RMFは、AIシステムが意図された目的と目標を達成しているか、開発や配備を継続すべきかを判断するよう求めています（MANAGE 1.1）。

承認基準を結果が出た後に定めてしまうと、再検証は形骸化しやすくなります。監査人は、承認基準が結果よりも前に文書として定められていたか、基準に集団別の指標が含まれているか、基準を満たさなかった場合に実際に差し戻された実績があるかを確認します。

さらに深く

公平性の基準は一つではない

「このモデルは公平か」という問いには、単一の正解指標はありません。集団間の承認率を揃えること、集団間のエラー率を揃えること、同じスコアに同じ意味を与えることは、互いに異なる公平性の概念であり、ある一つを揃えれば別のものが損なわれる可能性があります。NISTも、公平性の基準は複雑で定義が難しく、公平性に対する認識は文化や適用分野によって異なると説明しています。

そのため、監査人が公平性の基準を自ら定めることは危険です。基準は経営陣が法令、事業の性質、影響を受ける人々の意見を考慮して定めて文書化すべきであり、監査人はその基準が存在するか、設定時に何を考慮したか、基準どおりに測定しているか、基準を超過した際に何を行ったかを確認します。基準が存在しなければ、それ自体が指摘事項（発見事項）となります。「格差を3%ポイント以内に抑える」といった数値基準がある場合、監査人はその数値を適用するデータと計算を検証します。

人とAIが協働したときの性能

多くのAIシステムは、人の判断を代替するのではなく支援します。このとき重要なのは、AI単独の性能ではなく、人とAIが協働したときの性能です。NISTが正確度の測定において人とAIの協働を考慮するよう求めている理由はここにあります。

協働したときの性能は、AI単独よりも良くなることもあれば、悪くなることもあります。人がAIのエラーをうまく取り除ければ向上し、自動化バイアスによってAIのエラーにそのまま従えばAI単独と同等になり、人がAIの正しい判断を根拠なく覆せば（NIST AI 600-1が言うアルゴリズム忌避）、さらに悪化します。「AIは人よりも正確だから点検回数を減らそう」という決定に直面したとき、監査人は3つの数値を要求できます。同一の事例における人単独、AI単独、そして人とAIが協働して出した結果です。この3つの数値があって初めて、削減しようとしている点検が何を失わせるのかを判断できます。

実務の場面

そよかぜ銀行：「正解率99.8%」報告書を読み直す

「そよかぜ銀行」のデジタル金融部は、新しい送金詐欺検知モデルが「正解率99.8%で従来のルールベースシステム（99.5%）より優れている」という報告書を提出しました。監査チームは報告書を証拠として採用する前に、元データを要求しました。

評価データは過去6か月間の送金120万件で、そのうち詐欺は960件（0.08%）でした。監査チームが混同行列を作成し直したところ、新モデルは詐欺960件のうち610件を検知し（再現率約64%）、フラグを立てた2,700件のうち610件が実際の詐欺でした（適合率約23%）。従来のルールベースシステムは同期間に詐欺480件を検知していました（再現率50%）。すべての送金を正常と判定した場合の正解率は99.92%であり、両システムとも正解率だけを見れば多数派クラスのベースライン、すなわち「何もしないこと」よりも低かったのです。監査チームは正解率の比較を報告書から除外し、同一期間・同一事例における再現率と適合率、そして正常な顧客の送金が遮断された件数を比較するよう勧告しました。新モデルは再現率において明らかに優れていましたが、遮断された正常な送金もより多かったのです。

監査チームは評価設計も確認しました。開発チームは送金記録を無作為にシャッフルして学習用と評価用に分割していましたが、同一の詐欺口座からの送金が双方に含まれていました。監査チームは口座単位で分割して再評価させ、再現率は64%から57%へと低下しました。最後に年齢層別に結果を分類してみたところ、満70歳以上の顧客の正常な送金が遮断された割合が他の年齢層の2倍に達していました。この集団は6か月間で送金が1万件余りあり、件数としては十分でした。銀行には集団別の格差に関する基準がまだ存在しませんでした。監査チームは基準の欠如を指摘事項として挙げ、高齢の顧客に対する誤検知の影響（送金の遅延、コールセンターによる確認手続き）を併記しました。

ひとつに宅配：文書一つ、モデル一つ、閾値一つ

宅配会社「ひとつに宅配」は、AIで配送への不満に関する問い合わせを分類し、生成AIが回答ドラフトを作成し、別の予測モデルで紛失リスクの高い荷物を抽出して事前点検を行っています。監査チームは前四半期に行われた3つの変更について、再検証の記録を確認しました。

第一に、補償規程が改定され、回答ドラフト生成AIの知識文書のうち「紛失補償案内」のみが更新されました。運用チームは変更承認書のみを提出しました。監査チームは補償関連の問い合わせが全体の15%を占める点を挙げ、補償に関する質問について変更前後の回答を比較した回帰評価の記録を要求しました。記録が存在しなかったため、監査チームは補償の問い合わせサンプルを用いて直接確認を行い、新しい規程が反映されていない回答が混在していることを発見しました。更新された文書とは別に、以前の規程が記載されたFAQ文書が検索対象に残っていたためです。

第二に、分類AIの基盤モデルを同一ベンダーの新しいバージョンに変更しました。運用チームは「ベンダーのベンチマークスコアが向上した」という資料を提出しました。監査チームは基盤モデルの変更は影響範囲が全体に及ぶ点を挙げ、自社の問い合わせデータを用いた全面的な再評価を要求しました。運用チームは変更前に問い合わせ類型別の分類正解率を比較する評価を実施していましたが、承認基準が設定されておらず、評価結果を確認した後に「大きな差はない」として承認していました。監査チームは、あらかじめ定めた承認基準の欠如を記録しました。

第三に、紛失リスクモデルの判定基準スコアを0.7から0.6へと引き下げました。点検対象が増加して紛失は減少したものの、現場の点検要員の負担が40%増加しました。データチームは、全体および地域拠点ごとの再現率・適合率の前後比較を残しており、承認基準（全体の再現率85%以上、いずれの拠点も70%未満に低下しないこと、1日の点検件数の上限）もあらかじめ定めていました。監査チームはこの変更を再検証プロセスの好事例として報告書に記載し、他の2つの変更についても事前に定めた基準と区分別の比較を用いるよう勧告しました。

間違えやすいポイント

1. 「正解率が高ければ良いモデルである。」 稀な事象を検出するモデルは、多数派クラスのベースラインと比較検討しなければなりません。再現率と適合率が核心を物語っています。
2. 「学習に使用していないデータで評価したのだから問題ない。」 同一の顧客・アカウントの記録が双方に分かれて含まれている場合、実質的には分離されていないことになります。
3. 「リリース時に測定した性能が今もそのままの性能である。」 商品構成や顧客層が変化した場合、過去の数値は現在の性能の証拠にはなりません。
4. 「オペレーターがそのまま送信した割合がドラフトの正確度である。」 そのまま送信した割合は、人がAIに従った度合いにすぎません。
5. 「機微な変数を入力から除外したためバイアスはない。」 他の変数が代理（プロキシ）として機能する可能性があり、ラベル自体が偏っている可能性もあります。
6. 「件数が少ない集団の格差は無視してもよい。」 偶然であるかどうかをまず判断しつつ、期間を延ばして確認します。件数が少ないからといって切り捨ててはなりません。
7. 「ベンダーが品質を保証しているためデータは信用してよい。」 保証は利害関係のある側の主張です。信頼性は独立して確認します。
8. 「ベンダーのベンチマークスコアが向上したため再検証は不要である。」 ベンチマークの質問やデータ分布は自社の業務とは異なるため、自社のデータや質問における性能を示すものではありません。

ひと目でわかるまとめ

公式ドキュメントで確認する

• NIST AI RMF — AI Risks and Trustworthiness: 妥当性確認・信頼性・正確度・堅牢性の定義、バイアスの3つの範疇。
• NIST AI RMF — Core: MAP 2.3・4.1、MEASURE 2.1・2.3・2.4・2.5・2.11、MANAGE 1.1・3.2・4.1。
• NIST AI 600-1: Confabulation、Harmful Bias or Homogenization、データ出所情報。
• GAO-21-519SP: Data（2.1–2.8）、Performance（3.1–3.9）、Monitoring（4.1–4.5）の原則と監査の問い。
• PCAOB — AS 2315: サンプリングリスクとサンプルサイズの関係（.10）。

セルフチェック

4-1. 取引20万件のうち実際の不正が200件であり、モデルが300件に不正のフラグを立て、そのうち150件が実際の不正でした。再現率、適合率、多数派クラスのベースラインの正解率を計算してください。

4-2. NISTが定義した妥当性確認と信頼性の違いを、1文ずつ記述してください。

4-3. 評価セットに対して監査人が投げかける5つの質問のうち、行をランダムにシャッフルして学習用と評価用に分割した場合に特に問題となるものを1つ選び、その理由を記述してください。

4-4. NISTが挙げるバイアスの3つの範疇を記述し、「開発チームに差別する意図はなかった」という説明がバイアスの検討を終了させる根拠にならない理由を記述してください。

4-5. 過去の担当者の決定を正解として学習したモデルにおいて、「過去の決定との一致率95%」が公平性の証拠にならない理由を記述してください。

4-6. 判定基準スコアの調整、知識文書の一部の更新、基盤モデルの変更について、それぞれ適切な再検証の範囲を記述してください。

4-7. （設計）生成AIが公的支援金の申請資格を案内するサービスの品質測定計画を設計してください。評価用の質問セットの構成、採点基準、個別に測定すべき質問類型、運用中のモニタリング指標を含めてください。

実習課題