付録B セルフチェックの解答と解説

第1章

1-1. 一覧（インベントリ）によって答えようとする問いをあらかじめ定めておき、その問いに答えるために必要な項目だけを一覧に含めるという意味です。個人情報のリスクを判断するには、「扱うデータの種類および個人情報・機微情報が含まれているか否か」と「提供者・委託関係（データが誰に渡るのか）」が必要です。名称、部署、費用だけでは、この問いに答えることはできません。

1-2. 在宅勤務中の従業員のアクセスは会社のプロキシを経由しないため、プロキシログには現れません。補完的な情報源としては、個人決済後に経費精算を行った場合のカード・経費精算明細や、会社アカウントで登録した場合のSSOアプリ一覧およびログイン記録が挙げられます。既存SaaSの内蔵機能については、管理者設定やベンダーからの通知で別途確認します。

1-3. 規模（利用回数、部署、期間）を客観的証拠によって、リスクの大きさ（どのようなデータが外部に出たか）をサンプル抽出によって、原因（承認手続きが需要に追いついているか）をヒアリングと手続きの検証によって明らかにします。懲戒を目的として利用者名簿を引き渡すようなことはしません。懲戒の判断は経営陣が下すべき決定であり、監査がそれを引き受けてしまうと経営陣の責任を肩代わりすることになり、根本原因の解消にも役立たないためです。

1-4. 予備調査で複数の兆候を収集した際、最も顕著な兆候によって時間と手続きを集中させるべき領域を決定するという原則です。外部の開発会社が運用するモデルが2年間変更されておらず、人間によるレビューも機能している一方で、契約に監査権や変更通知の規定がない場合、変更管理よりも契約および受託管理が監査の重点となります。同一のモデルであっても直近で変更が頻繁に行われていたのであれば、重点は変更管理へと移行します。

1-5. 使用できます。Yellow Bookは基準に標準、確立された業務慣行、ベンチマークが含まれ得ると定めており（GAO 8.124）、IIA基準でも最も関連性の高い基準を特定して適用するよう求めています（IIA 13.4）。報告書にはその基準を選んだ理由と、その基準が法的な義務ではないという性質を明記します。

1-6. リスク管理措置および説明措置の主要な内容、利用者保護措置、管理・監督者の氏名と連絡先を掲示した画面、責務履行の根拠を5年間保管する体制と実際の保管文書（施行令第27条第2項）、利用事業者であれば開発事業者から受領した資料および重大な機能変更がなかったことを示す根拠が要請資料一覧に含まれます。

1-7. 設計例：① 監査責任者がその委員会において一時的に責任を負っていたため、当該領域のアシュアランス業務は担当期間中およびその後の12か月間、独立した第三者（例：取締役会に独立して報告する外部のアシュアランス提供者）に提供させる。② 監査責任者は委員会の事務局責任を経営陣に移管する計画を策定し、委員会の運営に関与した内部監査人員を関連業務から除外する。③ この客観性の問題と対応措置を計画書に記録し、取締役会と共有する。①および②の前半部分はIIA 7.1の要求事項であり（監査責任者が責任を負った機能に対するアシュアランス業務には外部の独立した監督が必要であるというIIA 2.2と同様の趣旨）、残りはその要求を実行するための方法です。

第2章

2-1. 設計の有効性は、「判定基準の変更も承認対象」と定めた方針がそのまま遵守された場合に、レビューを経ない変更を防止できるかを確認します。運用の有効性は、過去1年間の実際の判定基準の変更がすべて承認を経ているか、承認者に適切な権限と能力があったかを確認します。

2-2. 運用の不備です。AS 2201 .A3は、統制を実施する担当者が効果的に遂行するために必要な権限や能力を備えていない場合を運用の不備と定義しています。ただし、教育訓練なしに配置することを認めている手続き自体に問題がある場合は、原因分析において併せて取り扱います。

2-3. 質問、観察、文書検査、再実施の順です（AS 2201 .50）。質問は担当者の陳述にすぎず、統制が対象期間中に実際に実施されていたかを示す客観的証拠ではないため、それだけでは結論の根拠とすることはできません。

2-4. 権限、情報、時間、能力です。権限がなければ人間の意見と異なる場合でもAIの結果が自動適用され、情報がなければ元データを開かずに確定する案件が多くなり、時間がなければ1件あたりの処理時間が短すぎて元データを読むことができず、能力がなければ判定を覆す理由が基準に合致していなかったり判定を覆すケースがほとんどなかったりします。

2-5. モデルの再学習・置換、判定基準スコアの調整、指示文（プロンプト）の修正、ナレッジ文書の更新、ベンダーによる基盤モデルの置換です。従来の変更管理で見落としやすい2点は、指示文の修正とナレッジ文書の更新です。コードが変更されなくても結果が変わるためです。

2-6. 種類（設計のみを扱っているか、運用の有効性をテストしているか）、範囲（どのような統制目標を扱っているか）、期間（監査対象期間を網羅しているか、どの程度経過しているか）、利用者側の補完統制です。AI固有のリスクと最も頻繁に衝突するのは「範囲」であり、モデルが頻繁に変更されるサービスであれば「期間」も頻繁に問題となります。保証報告書ではアクセス管理や可用性のみが扱われ、顧客データのモデル学習への利用や予告のないモデル置換は扱われないことが多いためです。

2-7. 例：① エージェントが使用できるツールと権限の一覧があり、定期的にレビューされているか。② その権限は業務に必要な最小限であるか（例：返金上限、送信対象の制限）。③ 取り消しが困難な作業（返金の実行、一括送信など）に人間の承認が組み込まれているか。④ エージェントの行動ログは、エージェントや運用者が改ざんできない場所に記録されているか。

第3章

3-1. 関連性、妥当性、信頼性です。満足度は回答が親切であったり説得力があったりしたかを反映することはできても正確性を示すことはできないため、測定しようとするものを実際に表している度合いである妥当性に欠けます。

3-2. 情報の正確性と完全性を直接テストする方法と、その情報を生成するプロセスの統制をテストする方法です（AS 1105 .10）。今回の監査のために手作業で一度だけ作成された資料であれば直接テストが、効果的な統制のもとで自動的に反復生成される資料であれば統制テストが適しています。

3-3. 特定項目抽出の結果を母集団全体に推計することはできません（AS 1105 .27）。報告書には選定基準と検討件数を明記し、「選定した高リスク案件○件のうち○件」のように結論をその範囲に限定して記述します（GAO 9.21）。

3-4. 許容逸脱率、予想逸脱率、統制への過大信頼リスクです（AS 2315 .38）。母集団の大きさは、母集団が極めて小さくない限り、サンプルサイズにほとんど影響を与えません。

3-5. サンプリングリスク、すなわちサンプル逸脱率が許容逸脱率より低くても実際の母集団の逸脱率が許容値を超える可能性と、逸脱の質적側面、すなわちその逸脱が単純なミスなのか意図的な迂回なのか、およびその原因です（AS 2315 .41–.42）。必要に応じてサンプルを増やしたり、他の証拠を追加したりします。

3-6. 決定論的スコアリングモデルは同じ入力に対して同じ結果を出力するため、承認されたバージョンで再計算して記録と比較することができます。生成モデルは同じ入力に対しても出力が変わる可能性があるため、再実行した結果によって過去の記録を判断することはできません。したがって、記録された入力と出力に基づいて判断が基準に合致していたかを再実施（検証）します。必要となるログは、入力原文、出力原文、モデル・指示文（プロンプト）・ナレッジ文書のバージョン情報です。

3-7. 例：① 監査目的に合わせて「不正の疑い」の判定基準を文書で規定する。② ツールのデータ処理条件を確認したうえで、監査人が基準に従って自ら判定した代表的な検証用サンプルを用いて、ツールが誤認した割合（偽陽性率）と見逃した割合（偽陰性率）を個別に測定する。③ 両方の割合がそれぞれ許容範囲内であれば全体を分類し、ツールによって抽出された案件は原文で確認するとともに、「該当なし」とされた案件からもサンプルを抽出して見逃しがないかを確認する。④ 指示文（プロンプト）、モデルのバージョン、実行日時、入力件数、検証結果を調書に記録する。

第4章

4-1. TP 150、FP 150、FN 50です。再現率 = 150 ÷ 200 = 75%、適合率（精度） = 150 ÷ 300 = 50%、多数派クラスのベースライン、すなわちすべての取引を正常と判定した場合の正解率 = 199,800 ÷ 200,000 = 99.9%です。

4-2. 妥当性確認（バリデーション）は、特定の意図された用途の要求事項が満たされていることを客観的証拠によって確認すること、すなわち「この用途に適して正しく機能しているか」を問います。信頼性は、与えられた条件下で所定の期間にわたり障害なく要求どおりに作動する能力、すなわち「定められた使用条件において定められた期間、障害なく要求どおりに動作するか」を問います。多様な状況において性能を維持できるかどうかは堅牢性（ロバストネス）に関する問いです。

4-3. 分離です（適切に分離されないことで生じる問題をデータ漏洩［データリーケージ］と呼びます）。行をランダムにシャッフルして分割すると、同じ顧客や同じアカウントの記録が学習と評価の双方に入り込み、モデルが個別の特徴を暗記してスコアが実際よりも高く算出されるおそれがあります。顧客やアカウント単位で分割して再評価します。

4-4. システム的バイアス、計算・統計的バイアス、人間の認次的バイアスです。NISTはこれら3つのバイアスはいずれも先入観や差別の意図がなくても生じ得ると説明しているため、意図がなかったという事実はバイアスが存在しないことの証拠にはなりません。

4-5. 正解そのものが過去の人間の判断であるため、その判断に含まれていた偏りが正解データに入り込んでいます。過去の決定との一致率が高いということは、その偏りまで忠実に再現していることを意味する場合があります。実際の返済実績のような独立した基準と照合し、ラベルから点検する必要があります。

4-6. 判定基準スコアの調整はエラー類型別・集団別の指標の事前・事後比較、ナレッジ文書の一部の更新はその文書が根拠となる質問を中心とした回帰評価、基盤モデルの置換はデプロイ前の全面的な再評価と承認が適しています。

4-7. 例：評価用質問セットは実際の問い合わせ類型の分布を反映しつつ、受給資格要件、所得基準、申請期限のように誤った場合の被害が大きい類型を十分に含める。採点基準は公募文や指針の原文との照合によって定め、2名が独立して採点を行い一致率を確認する。高リスク類型は平均とは別に正解率を報告する。運用中は高リスク類型のサンプル正解率、異議申し立て件数、オペレーターの修正率を毎月確認し、基準を超えた場合は対応する。修正率は自動化バイアスの影響で低く現れる可能性があるため、修正なしで送信された回答のサンプルも独立して再検証し、併せて確認する。

第5章

5-1. 基準、現状、原因、影響です。Yellow Bookは監査目的に必要な範囲で4つの要素を展開するよう求めており、目的が現状の確認のみであれば現状だけを展開してもよいと説明しています(GAO 8.116, 8.128)。

5-2. 従業員個人の行動のレベルで止まってしまうと、勧告が教育や問責にとどまり、同じことが別の従業員で繰り返されます。その従業員がなぜ反映しなかったのかを、証拠をもとにさらに追跡しなければなりません。より適切な原因記述の例：「基準の改定をナレッジ文書に反映する責任者と期限が定められていなかったため、改定の事実が運用部門に伝達されなかった。」

5-3. 不備の深刻度は、実際の損害が生じたかどうかではなく、統制がエラーを防止または発見できない合理的な可能性と、その潜在的な大きさに左右されます(AS 2201 .63–.64)。したがって、会社の等級基準をその可能性と大きさに適用して決定します。

5-4. 実行権限を持つ側に提示され、具体的であり、実行可能で、費用対効果が高く、測定可能でなければなりません。「AI管理体制を強化すること」には宛先、具体的な措置、測定方法がなく、原因との結びつきも見られません。

5-5. ① 意見が発見事項と対立するため、その妥当性と裏付けとなる証拠を評価する。② 意見が十分かつ適切な証拠によって裏付けられている場合は、報告書を修正する。③ そうでない場合は発見事項を維持し、責任者の書面による意見（またはその要約）とともに、同意しない理由を報告書に掲載する。被監査組織の同意は報告書発行の条件ではありません。

5-6. （a）四半期ごとに実施する手作業による点検は、数回運用された後、期間中の実施記録をサンプルとしてテストして初めて終結させることができます。（b）システム設定の変更は、設定を直接確認し、テスト入力によって動作を確認した上で、効果的な変更管理のもとでその後に設定が変更されていないことを確認できれば終結させることができます。

5-7. 例：① 経営陣の決定とその理由、決定権者を文書で受け取る。② 監査責任者が、受け入れられたリスクが組織のリスク選好・許容限度内にあるかを判断する。③ 限度内であれば、受容の決定と根拠を追跡システムに記録し、その発見事項の追跡を終了する。④ 限度を超える場合は最高経営陣と協議し、解決しない場合は取締役会に報告する。リスクの受容と対応措置の責任は経営陣にあるため、監査チームが代わりに統制を構築してあげることはしない。