第1章 監査計画・範囲とAI目録

学習目標

  • AI使用状況目録(インベントリ)に含める項目を、監査目的に合わせて選定します。
  • 自己申告で作成された目録の抜け漏れを、利用経路に応じた独立した記録から見つけ出します。
  • シャドーAIを発見した際、監査人が行うべきことと経営陣が行うべきことを区別します。
  • 影響度と発生可能性からAIシステムのリスク優先順位を付け、監査対象と監査の深さを決定します。
  • AI基本法、個人情報保護法(韓国)、NIST AI RMF、ISO/IEC 42001を監査基準としてマッピングします。
  • アシュアランスとアドバイザリー、客観性、専門家の活用など、計画段階で下すべき判断について説明します。

はじめに

中堅製造業の監査室長が、取締役会で次のような質問を受けたとしましょう。「最近はどこもAIを使っているそうですが、我が社のAIリスクは大丈夫でしょうか?」監査室長は、IT部門が管理する目録には承認済みのツールが4つしかないことを把握しています。しかし先週、社員食堂で営業部門の社員たちが各自で使っている文章作成AIを比較し合っているのを耳にしましたし、購買部門からは取引先から送られてきた見積分析機能が「勝手に有効になっていた」という話を聞いていました。

「大丈夫か」という問いに答えるためには、まず「何があるのか」を把握しなければなりません。目録にないものは、リスク評価からも、内部統制の点検からも、報告書からも漏れてしまいます。そして監査リソースは常に限られているため、何があるかを把握した後は、どこへどれだけ深く踏み込むかを決めなければなりません。最後に、何を基準にして「大丈夫だ」と判断するのかも定める必要があります。法令なのか、国際標準なのか、組織自らが定めた指針なのかによって、同一の事実が指摘事項(発見事項)になるかどうかが分かれます。

本章では、これら3つの要素、すなわち目録、範囲、基準を順を追って取り上げます。まず、AI監査が答えるべき問いと監査対象となる「AI」の境界を定め、目録に記載すべき項目や目録の抜け漏れを発見する方法を学びます。続いて、リスクに応じて監査対象と監査の深さを決定する方法や、監査基準として用いる法令およびフレームワークをマッピングする方法を扱います。最後に、アシュアランスとアドバイザリーの区分、客観性、専門家の活用といった、計画段階で見落としがちな決定事項を整理します。

重要な概念

AI監査が答える問い

内部監査とは、組織のガバナンス、リスク管理、内部統制プロセスの有効性を独立した立場から評価し、改善を支援する業務です。AI監査も本質的には変わりません。ただ、評価対象にAIシステムと、それを取り巻く人・手続き・契約が含まれる点が異なるだけです。AI監査が答えるべき問いは、概ね次の5つです。

  1. 組織は自らが使用しているAIを把握しているか?(目録と範囲、本章)
  2. AIのリスクを低減する内部統制は適切に設計され、実際に機能しているか?(第2章)
  3. その判断を裏付ける証拠は十分かつ信頼できるか?(第3章)
  4. モデルとデータは主張どおりに正確かつ公平であり、変更が生じても適切に管理されているか?(第4章)
  5. 問題が発見された際、是正できるように報告され、実際に是正されたか?(第5章)

監査人が行わない業務についても明確にしておきましょう。監査人はAIツールを承認または禁止したり、内部統制を直接設計・運用したり、従業員を懲戒処分にしたりすることはありません。米国GAO(政府監査院)の政府監査基準(Yellow Book)は、内部統制の設計・構築・維持に対する責任を負うことや、監査人の勧告のうちどれを実行するかを決定することなどを経営陣の責任として挙げており、監査人がこうした責任を担うと独立性が損なわれるとみなしています(GAO 3.78, 3.81)。例えるなら、監査人は建物の安全点検員であって建設業者ではありません。点検員が自ら壁を修理し始めてしまえば、次回の点検では自分の工事を自分で評価することになってしまいます。

何をAIとみなすか

目録を作成する前に、境界を定めなければなりません。AI基本法は、「人工知能」を学習、推論、知覚、判断、言語の理解など、人間が持つ知的能力を電子的方法により具現化したものとし、「人工知能システム」を多様な水準の自律性と適応性を持ち、与えられた目標のために実環境および仮想環境に影響を及ぼす予測、推薦、決定などの成果物を推論する人工知能基盤のシステムと定義しています(第2条第1号・第2号)。文章、音声、画像、映像などを生成するシステムは、「生成型人工知能(生成AI)」として別途定義しています(第2条第5号)。

監査実務においては、法的な定義を出発点としつつも、組織のポリシーによって目録の範囲を明示的に定めておくのが望ましいです。境界線上で議論になりやすい事例は、以下のとおりです。

事例 判断の手がかり
ルールのみでスコアリングを行うExcelモデル 学習・推論を伴わない場合は通常AI目録の対象外ですが、同一の意思決定を扱うAIとの比較対象となる場合は併せて記録します
既存のSaaSで新たに有効化された要約・下書き作成機能 生成AIに該当します。目録に含めるか、ポリシーによって例外とするかは組織が定める必要があります
個人のアカウントで利用する外部チャットボット 社内データが入力されるのであれば、目録およびリスク評価の対象となります
外部ベンダーが運用する分類サービス 運用を委託していても組織自身のリスクです。ベンダー情報とともに記録します

NISTの生成AIプロファイル(NIST AI 600-1)は、組織の生成AIシステムを目録に含め、アプリケーションソフトウェアに組み込まれた生成AIに対する目録の例外規定がある場合は、組織のポリシーで定めるよう提言しています(GV-1.6-001, GV-1.6-002)。例外を設けること自体は差し支えありませんが、ポリシーに明記されていなければなりません。

AI目録の役割と項目

NIST AI RMFは、AIシステムを目録化する枠組みを整え、その枠組みに対して組織のリスク優先順位に応じたリソースを配分することを求めています(GOVERN 1.6)。目録は監査の出発点であると同時に、経営陣のリスク管理ツールでもあります。しかし、名称、部署、コストだけが記載された目録では、リスクを判断することはできません。目録の記載項目は、「この目録によってどのような問いに答えるのか」から逆算して決定する必要があります。

項目 答える問い
用途およびアウトプットが用いられる意思決定 誰にどのような影響を与えるか
影響を受ける人々(顧客、従業員、市民) 被害が生じた場合、誰が受けるか
取り扱うデータと個人情報・機微情報(センシティブ情報)の該当性 個人情報保護法やセキュリティ統制の対象となるか
基盤モデル、バージョン、利用形態(Web、API、組み込み機能、セルフホスト) ベンダーがモデルを変更した際に影響を受けるか
ベンダーとの契約・委託関係 データが誰に渡るか、第三者リスクや受託者の監督が必要となるか
人による管理・監督の役割と責任者 結果を覆す権限を持つ人が存在するか
承認状況、承認日、次回見直し日 管理体制の下に置かれているか
既知の問題やインシデント履歴 すでに顕在化しているリスクが存在するか

NIST AI 600-1は、生成AI目録の項目例として、データの来歴情報(出所、署名、バージョン、電子透かし)、内部のエラートラッキングや外部インシデント情報から得られた既知の問題、人による監督の役割と責任、知的財産・個人情報・機微データに関する検討事項、基盤モデルとそのバージョン、利用形態などを挙げています(GV-1.6-003)。監査人は、目録がこうした項目を網羅しているかどうかを、目録自体の「設計」の適切さとして評価することができます。

目録の網羅性を検証する方法

目録において最も典型的な弱点は網羅性(完全性)です。部門へのアンケートや部門長による確認書のように自己申告形式で作成された目録には、認識していないもの、忘れていたもの、意図的に隠されたものが抜け落ちてしまいます。Yellow Bookは、アンケート調査は概して自己申告情報を提供するものであるため、アンケートの設計と運用を評価してその信頼性を判断すべきであるとし(GAO 8.106)、監査人が直接検査したり計算したりして得た証拠は、間接的に得た証拠よりも概して信頼性が高いと説明しています(GAO 8.104)。

そのため、監査人は自己申告による目録を、利用の痕跡が残る独立した記録と突き合わせます。どのような記録が有用であるかは、利用経路によって異なります。

利用経路 痕跡が残る場所 見落としやすいケース
オフィスネットワークからWeb経由で接続するサービス Webプロキシ、DNS、ファイアウォールのログ 在宅勤務や外出先など、社内ネットワークを経由しないアクセス
企業アカウントのシングルサインオン(SSO)に連携したアプリ SSOアプリ一覧とログインログ 個人のアカウントで登録したサービス
コーポレートカード決済や個人立替による経費精算 カード明細・経費精算明細 無料サービス、既存契約に含まれる機能
購買手続きを経た導入 購買・契約台帳 少額のサブスクリプション、無料トライアル
既存のSaaSに組み込まれたAI機能 各サービスの管理者設定、ベンダーの仕様変更通知 管理者が設定画面を確認していない場合
開発者が直接呼び出すAPI APIキーの発行履歴、クラウド利用料金の請求書 個人のAPIキーを利用している場合

単一の情報源ですべての経路をカバーすることはできません。監査人は、組織の実際の働き方(テレワーク比率、決済ポリシー、アクセス遮断ポリシーなど)をまず把握し、抜け漏れが生じる可能性の高い経路に応じた情報源を選定します。例えば、外部のAIサイトへのアクセスを遮断し、AI利用の決済を経費として認めていない企業であれば、新しいツールが持ち込まれるルートは狭まりますが、すでに利用しているサービス内でAI機能が有効化されるルートは開かれたままになっています。

シャドーAI

シャドーAIとは、組織の承認や管理の枠外で利用されているAIを指します。その大半は悪意からではなく、業務上の必要性から生じます。承認手続きに何週間もかかったり、承認済みのツールが業務に適していなかったり、無料のサービスがあまりにも手軽に利用できてしまったりするためです。

シャドーAIを発見した際、監査人が行うべきことは次の3点です。

  1. 規模を独立した証拠で確認する。 利用回数、利用部門、利用期間をアクセスログや決済記録から確認します。
  2. リスクの大きさを評価する。 利用回数が同じであっても、送信されたデータの内容によってリスクは全く異なります。アップロードされたファイルの種類や入力内容に顧客情報が含まれていないかを、サンプル抽出によって確認します。
  3. 根本原因を特定する。 承認手続きが現場の需要に追いついていないのか、承認済みの代替ツールが存在しないのか、それともポリシーが周知されていないのかを確認します。原因を把握してこそ、迂回利用を減らす実効的な勧告を行うことができます。

反対に、利用者のリストを懲戒処分用として人事等へ渡したり、監査チームがツールの承認を肩代わりしたり、「承認されていないのだから監査範囲外である」として除外したりすることは、いずれも誤りです。前者の2つは経営陣の役割であり、最後の対応は最も重大なリスクを自ら監査範囲から消し去ってしまう行為です。

リスクに基づく範囲設定

監査リソースはリスクに比例して配分します。NIST AI RMFは、組織のリスク許容水準に応じて必要なリスク管理活動のレベルを定める手続きを設けること(GOVERN 1.3)、特定された影響ごとに発生可能性と重大性を把握して文書化すること(MAP 5.1)を求めています。IIA基準も、監査対象業務の目標とリスク、組織のリスク許容水準、適用可能な基準を理解した上で、重要なリスクを特定し優先順位を付けることを要求しています(IIA 13.2)。

AIシステムのリスク優先順位を付ける際に活用できるシグナルには、以下のようなものがあります。

シグナル リスクを高める要因の例
アウトプットが用いられる意思決定 融資、採用、保険金給付、診療順位のように、個人の権利や安全性に直接影響を及ぼす場合
人の関与の度合い 人がほぼすべての推薦結果をそのまま鵜呑みにしている、あるいは人の介在なしに自動で確定される場合
変更の頻度 モデルの差し替えや判定基準の変更が頻繁であるにもかかわらず、再検証の記録が存在しない場合
データ 出所が不明瞭な外部データ、機微情報、当初と異なる目的で収集されたデータを取り扱っている場合
第三者依存度 開発や運用を外部委託しているにもかかわらず、契約に監査権や変更通知条項が含まれていない場合
過去の監査結果 前回の監査や診断での勧告事項が未履行であるか、履行状況が確認されていない場合

同一のシステムであっても、どのシグナルが顕著であるかによって監査の重点は変化します。モデルが2年間更新されていない一方で契約書の内容が不十分であるなら、変更管理よりも第三者管理が主眼となりますし、新たに購入したデータが投入されたのであれば、データの出所(来歴)が主眼となります。

監査の深さを決める

すべてのシステムを同じ深さで検証する必要はありません。むしろ、すべてを一律の深さで見てしまうと、最もリスクの高いシステムに対する検証が不十分になってしまいます。実務では、深さをいくつかの段階に分けて計画を策定します。

深さ 実施内容 適した対象
レベル1:管理体制の確認 目録への登録、リスク評価、承認記録が存在するかを確認する 内部業務の補助、個人情報を含まない、アウトプットが意思決定に直接用いられないシステム
レベル2:主要な内部統制のテスト 最も重要な1〜2個の内部統制(人によるレビュー、変更承認など)の設計と運用のテスト 影響度が中程度であるシステム、または過去の監査で指摘され勧告事項の是正対応中であるシステム
レベル3:詳細監査(精査) 内部統制テストに加え、性能やバイアスに関する主張の検証、データの出所、第三者管理まで検証する 個人の権利や安全に影響を及ぼし、これまで監査を受けたことがないシステム

監査の深さを浅くするからといって、目録から削除するわけではありません。目録の維持と監査の深さの決定は、全く別の判断です。

監査基準の意味と出典

監査基準(criteria)とは、「あるべき状態」のことです。Yellow Bookは、基準には法令、規則、契約、標準、測定指標、期待される成果、確立された業務慣行、ベンチマークなどが含まれ得ると説明しています(GAO 8.124)。IIA基準は、監査対象活動を評価する上で最も関連性の高い基準を特定し、取締役会および経営陣が定めた基準が適切であればそれを用い、不適切であれば協議の上で適切な基準を見出すことを求めています(IIA 13.4)。

したがって、「自主的なフレームワークであるため基準にはなり得ない」という主張は誤りです。NIST AI RMFのように法的義務を伴わないフレームワークであっても、組織が採択しているか、あるいは業界で広く活用されているものであれば基準になり得ます。ただし、なぜその基準が適切であるのかを計画書および監査報告書の中で明確に説明しなければなりません。

規制のマッピング①:AI基本法

AI基本法には、監査基準として頻繁に用いられる条項が含まれています。ここでは監査計画に必要な範囲に絞って整理します。なお、あるシステムが法定義務の対象に該当するかどうかの結論を出すには、法務的な判断が必要です。

  • 高影響人工知能(第2条第4号)。 人の生命、身体の安全および基本権に重大な影響を及ぼし、または危険をもたらすおそれがある人工知能システムを指し、エネルギー供給、飲料水の生産工程、保健医療の提供、医療機器、原子力施設、犯罪捜査における生体認識情報の分析、採用・融資審査など個人の権利・義務関係に重大な影響を及ぼす判断または評価、交通、公共サービスの資格確認・決定など国家機関等の意思決定、幼児・初等・中等教育における児童・生徒の評価、その他大統領令で定める領域で活用されるものをいいます。
  • 透明性確保の義務(第31条)。 高影響人工知能や生成型人工知能を利用した製品・サービスを提供するにあたっては、その事実を利用者に事前に告知し、生成型の成果物には生成された事実を表示しなければならず、実物と区別が困難な仮想の音声・画像・映像については、利用者が明確に認識できるように告知または表示しなければなりません。
  • 高影響人工知能の確認(第33条)。 事業者は高影響該当の有無を事前に検討しなければならず、必要に応じて科学技術情報通信部長官に確認を要請することができます。監査人にとっては、「事前検討の記録が存在するか」が最初の確認事項となります。
  • 事業者の責務(第34条)。 高影響人工知能を提供する事業者は、第1項各号の措置、すなわち第1号のリスク管理方策の策定・運用、第2号の説明方策の策定・施行、第3号の利用者保護方策の策定・運用、第4号の人による管理・監督、第5号の措置内容を確認できる文書の作成・保管などを履行しなければなりません。ここでいう事業者には、AIを開発して提供する「人工知能開発事業者」と、開発事業者が提供したAIを利用して製品やサービスを提供する「人工知能利用事業者」の双方が含まれます(第2条第7号)。
  • 施行令第27条。 リスク管理方策および説明方策の主要内容、利用者保護方策、管理・監督者の氏名・連絡先を掲示(公表)し(営業秘密は除外可能)、措置の根拠となる文書を5年間保管しなければなりません。第34条第1項第1号から第3号までの措置の全部または一部を履行した人工知能事業者からシステムの提供を受けた利用事業者が、本来の目的や用途を著しく変更するなどの重大な機能変更を行っていない場合、その措置の全部または一部を履行したものとみなされます。このみなし規定は第1号から第3号までに限られるため、人による管理・監督(第4号)および文書の作成・保管(第5号)はみなしの対象外です。利用事業者は開発事業者に対して必要な資料を請求することができます。
  • 影響評価(第35条)。 高影響人工知能を利用した製品・サービスを提供する際には、事前に基本権への影響を評価するよう努めなければならず、評価にあたっては製品・サービスの性質を考慮して人工知能脆弱層の特性が反映されるようにしなければなりません。評価の実施は「努めなければならない(努力義務)」、脆弱層の特性反映は「反映されるようにしなければならない(義務)」と規定の強度が異なるため、基準対応表には分けて記載し、評価を実施している場合はその反映記録を証拠請求リストに含めます。

監査計画において、これらの条項は「どのような証拠を請求すべきか」に置き換えられます。事前検討の記録、リスク管理方策、掲示画面、管理・監督者の指定文書、5年間の保管体制、利用事業者であれば開発事業者から受領した資料および機能変更の有無などが請求リストに含まれます。

規制のマッピング②:個人情報保護法(韓国)

AIシステムの大部分は個人情報を取り扱うため、個人情報保護法(韓国)も頻繁に監査基準となります。監査計画で頻繁に用いられる条項は次の2つです。

  • 業務委託(第26条)。 個人情報の処理業務を委託する際は、委託目的外の処理禁止、技術的・管理的な保護措置などを記載した文書によらなければならず、委託業務と受託者を情報主体が容易に確認できるように公開しなければなりません。また、受託者を教育し、処理状況の点検などによって監督する必要があります。受託者は委託された範囲を超えて個人情報を利用することはできません。AIサービスを外部に委託している場合、委託契約文書、公開状況、監督の記録が請求リストに含まれます。
  • 自動化された決定(第37条の2)。 完全に自動化されたシステムによって個人情報を処理して行われる決定(「行政基本法」第20条に基づく行政庁の自動的処分を除く)が情報主体の権利または義務に重大な影響を及ぼす場合、情報主体はその決定を拒否することができます(法律が定める例外があります)。これとは別に、情報主体は個人情報取扱事業者が自動化された決定を行った場合、その決定について説明等を求めることができます。個人情報取扱事業者は、自動化された決定の基準と手続き、個人情報が処理される方式を容易に確認できるように公開しなければなりません。この条項は「完全に自動化された」決定を対象とするため、人が実質的に関与しているかどうかが条項適用の有無を分ける事実となります。監査人は、人の関与が形式的なものにとどまっていないか、そして条項が適用される決定であるならば拒否・説明要求を処理する手続きが整備されているかを確認します。

フレームワークのマッピング③:NIST AI RMF、GAOフレームワーク、ISO/IEC 42001

法令のほかにも、以下の3つのフレームワークがAI監査の基準として広く用いられています。

フレームワーク 構造 監査における活用方法
NIST AI RMF 1.0 GOVERN、MAP、MEASURE、MANAGEの4つの機能とサブカテゴリー。GOVERNは残りの3つの機能全体に浸透する基盤機能である サブカテゴリーを点検用の問いに変換し、内部統制の不備を発見する
GAO AI説明責任フレームワーク(GAO-21-519SP) ガバナンス、データ、パフォーマンス、モニタリングの4原則と主要プラクティス。プラクティスごとに監査の問い、手続き、証拠の種類を提示している 監査プログラムの骨格として活用する
ISO/IEC 42001:2023 AIを開発・提供・利用する組織のAIマネジメントシステム(AIMS)を確立・実施・維持・継続的改善するための要求事項 組織が認証取得を目標に定めている場合、監査基準の1つとなる

ISO/IEC 42001を扱う際には、1つ注意すべき点があります。ISOは規格を策定するだけであり認証は行わず、認証は外部の認証機関が実施します。内部監査の結論は監査した範囲と基準の中でのみ意味を持つものであり、認証の代わりにはなりません。

アシュアランスとアドバイザリー、そして客観性

内部監査の業務は大きく2つあります。アシュアランス(assurance:保証業務)は内部統制が有効であるかについて独立した結論を提供し、アドバイザリー(advisory:助言業務)は経営陣が内部統制を設計または改善できるように助言を行います。両者の区分は実施時期ではなく目的です。経営陣が内部統制を設計できるように支援する意見要請はアドバイザリーとして、基準に照らして内部統制が適切であるか、あるいは有効に機能したかについて独立した結論を求める要請はアシュアランスとして遂行します。リリース前の設計段階における意見要請は通常アドバイザリーであり、一定期間運用された内部統制が機能したかについての意見要請はアシュアランスです。

IIA基準は客観性を保持するためにいくつかの要件を定めています(IIA 2.2)。内部監査人は過去に自らが責任を負っていた活動を評価してはならず、過去12か月以内に責任を負っていた活動に対してアシュアランス業務を実施した場合、客観性が損なわれたものと推定されます。過去にアドバイザリーを実施した領域に対してアシュアランス業務を行う場合、監査責任者はアドバイザリーの性質が客観性を損なわないかを確認した上で人員を配置しなければなりません。監査責任者自身が責任を担っている機能に対するアシュアランス業務は、内部監査部門外の独立した第三者が監督する必要があります。監査責任者が監査以外の責任を一時的に担った場合、その領域のアシュアランスは兼任期間中およびその後の12か月間、独立した第三者が提供しなければならず、監査責任者はその責任を経営陣に移管する計画を立てなければなりません(IIA 7.1)。

専門家と過去の監査結果の活用

AI監査では、監査チーム内にない専門知識が求められることが少なくありません。医療画像診断の正確性や与信審査モデルの統計的妥当性を、監査人が単独で判断することは困難です。Yellow Bookは、必要に応じて専門家を参加させつつも、その能力と資格、ならびにバイアス・利益相反・外部からの影響が判断に及ぼす影響を評価すること(GAO 4.12–4.14)、専門家の作業の目的と範囲、使用目的、手続きと結果、前提条件と方法を文書化することを求めています(GAO 8.32)。NIST AI RMFも、システムの直接の開発者ではなかった社内専門家や独立した評価者が定期評価に参加することを推奨しています(MEASURE 1.3)。導入を自ら主導した人物は、いかに優れた専門家であっても独立した評価者にはなれません。

過去の監査結果も計画の重要な材料となります。Yellow Bookは、監査目的と関連する過去の監査や研究、ならびにその勧告の履行状況を経営陣に確認し、それをリスク評価や監査手続きの範囲決定に活用することを要求しています(GAO 8.30)。「履行した」という回答は出発点にすぎず、実際に履行されたかどうかはテストによって検証します。

さらに深く

組み込みAIを目録に含めるか

業務用のソフトウェアごとにAI機能が搭載されるにつれ、「すべてのAIを目録に含める」という原則はたちまち維持が困難になります。文書エディタのスペルチェック提案、メールの返信推薦、ビデオ会議の自動字幕までをすべて含めると目録は数百行にも膨れ上がり、肝心の重要なシステムが埋もれてしまいます。逆に組み込み機能をまるごと除外してしまうと、顧客の相談記録を要約して外部サーバーへ送信するCRM機能のような、意味のあるリスクが抜け落ちてしまいます。

NIST AI 600-1が組み込み生成AIの目録除外の例外を「組織のポリシーで定めよ」としたのは、このせめぎ合いをポリシー決定として明確に示せという意味です。監査人は例外そのものを問題視するのではなく、例外の基準に着目します。適切な例外基準は、「どのようなデータが外部へ出るか」と「結果が意思決定に用いられるか」で線引きをします。例えば、「社外へデータを送信せず、結果が人間の判断に直接用いられない組み込み機能は、機能単位ではなく製品単位で記録する」といったように定めます。監査人は、その基準が一貫して適用されているか、基準が定められた後に新しく有効化された機能が検討されたかを確認します。

監査基準と法的判断の境界

AI基本法は施行されてから日が浅く、多くの詳細事項を大統領令や告示、ガイドラインに委ねています。そのため、「このシステムが高影響であるか」は事実関係や解釈によって異なり得ます。監査人がこの問いに対して法的な結論を下すと、2つのリスクが生じます。結論が誤っているリスクと、経営陣が行うべき判断を監査人が代行してしまうリスクです。

そのため実務では、問いを変えます。「高影響か?」の代わりに、「会社は高影響への該当有無を事前に検討したか、その検討は文書として残っているか、検討の根拠は何であり、誰が承認したか?」を問います。事前検討そのものが法律の要求する手続きであるため(第33条第1項)、この問いに対する答えは監査人が事実として確認できます。検討結果に疑わしい点がある場合は、その疑念と根拠を報告し、法務による検討を勧告します。

助言の後の保証:同じチームが2度見るとき

AIガバナンスは多くの組織で初めて構築されている途上にあるため、経営陣は内部監査に対して「設計を一緒に見てほしい」と要請することがよくあります。この要請を断る必要はありません。助言業務は内部監査の正当な業務であり、リリース前にリスクを低減する上で大いに役立ちます。問題は1年後に同一の統制を保証するときに生じます。

助言を行う際に守るべき一線は、「意見は述べるが、決定と運用は経営陣が行う」ということです。監査人が手順書を代わりに作成し、承認画面を自ら設計し、運用担当者の役割まで引き受けてしまうと、それはもはや助言ではなく経営陣の責任を肩代わりしたことになり、後の保証業務は自身の作業を評価することになってしまいます。逆に経営陣が決定して運用した統制であれば、助言を行ったチームが保証を担当しても、監査責任者が客観性を確認し、人員を調整して管理することができます。助言段階で残した意見書と経営陣の決定記録が、後になって客観性を示す証拠となります。

実務の場面

松川建設:現場ごとに異なるAI目録

総合建設会社「松川建設」(役職員3,400名、工事現場46カ所)の内部監査チームは、年間計画に初めて「AI利用管理」監査を組み入れました。ITチームから提示された目録には承認されたツールが5つあり、すべて本社が契約したものでした。

監査チームはまず、この会社の働き方を確認しました。従業員の半数以上が現場事務所で働いており、現場事務所は通信事業者の回線を個別に利用していたため、本社のプロキシを経由していませんでした。現場運営費は、現場所長の専決で法人カードを使用することができました。監査チーム員の一人が本社のプロキシログの抽出から始めようと提案しましたが、チーム長はそのログでは現場での利用状況をほとんど把握できない点を指摘しました。本社のログは本社に対してのみ利用することにしました。

現場については、法人カードの決済明細からAIサービスの決済を探しました。決済代行会社の名前で記載されているケースもあったため、加盟店名だけでは不十分であり、金額パターンと領収書を照合して確認しました。その結果、11カ所の現場で7種類の有料AIサービスが利用されていました。このうち2つは工程写真をアップロードして安全基準違反を検出するサービスでしたが、写真には協力会社の作業員の顔が写っていました。監査チームは、この2つのサービスをリスク評価の最上位に位置づけました。

もう一つの経路が残されていました。会社が利用している工事管理SaaSが、前四半期のアップデートによって「日次作業日報の自動要約」をデフォルトで有効化していたのです。決済も新たなアクセスも発生しないため、カードの明細にもプロキシにも一切痕跡がありませんでした。監査チームはSaaSの管理者画面とベンダーの通知を確認してこの機能を特定し、会社のポリシーに組み込み機能に関する基準が存在しない点を別途記録しました。

監査チームは、未承認サービスの利用者リストを作成することはしませんでした。代わりに現場所長5名にヒアリングを行い、なぜ承認手続きを経なかったのかを尋ねました。返ってきた答えは一様でした。承認申請書の様式が本社のIT基準で作られていたため現場では何を記入すべきかわからず、処理に2カ月もかかっていたのです。検出事項の原因は「現場の実情に合わない承認手続き」として整理されました。目録の補完結果(5個から13個へ)とともに、監査チームは組み込み機能に関するポリシー基準と、現場向けの簡易承認手続きを勧告しました。

日の出信用組合:1,000時間をどこに使うか

信用協同組合「日の出信用組合」の監査室は、今年度のAI監査に1,000時間を充てることができます。補完を終えた目録には6つのAIシステムがありました。個人信用融資審査補助モデル、延滞会員の相談優先順位モデル、顧客問い合わせチャットボット、内部規程検索アシスタント、会議録要約ツール、そして今年導入された不正取引検知サービスでした。

監査室はシステムごとに影響度と発生可能性、過去の確認の有無を表にまとめました。融資審査補助モデルは組合員の融資可否に影響を与え、前年に精密監査を受けて3件の勧告が出されていました。不正取引検知サービスは外部業者が運用しており決済を停止させることができますが、これまで監査した実績がなく、契約書のレビューも完了していませんでした。延滞相談優先順位モデルは相談の順序を決めるだけであり、実際の決定は相談員が行っていました。

監査室長は当初、6つのシステムに時間を均等に配分する案を受け取りました。「公平である」という理由からでしたが、それだと不正取引検知サービスにはわずか170時間余りしか割り当てられず、契約、運用、誤検知による被害までを精査することができませんでした。前年に監査を実施した融資モデルに再び多くの時間を充てようという意見もありました。調書を再利用できるため効率的であるという理由でしたが、効率性はリスクベースの配分の根拠にはなり得ませんでした。

最終計画は次のように策定されました。不正取引検知サービスに450時間(第3段階の精密監査:契約と委託先管理、誤検知によって決済が停止された会員の救済手続き、ベンダー報告書のレビュー)、融資審査モデルに250時間(第2段階:前年の3件の勧告に対する履行テスト)、チャットボットと延滞相談モデルに各100時間(第2段階:中核統制を1つずつ検証)、規程検索と会議録要約に各50時間(第1段階:管理態勢の確認)です。不正取引検知には外部のデータサイエンス専門家を参画させることとし、その専門家がベンダーと利害関係にないことを確認した上で、作業範囲と実施手法を文書で定めました。計画書には、採用を見送った案(均等配分、扱い慣れたシステム優先)とその理由も記録として残しました。

間違えやすいポイント

  1. 「承認されたツールのみが監査範囲である。」 承認外の利用が最大のリスクである可能性があります。目録外の利用を見つけ出して範囲に含めることが、監査の最初の仕事です。
  2. 「部署長の確認書を受け取ったので目録は完全である。」 自己申告では、認識していないものや隠されたものが抜け落ちます。完全性は、利用痕跡が残る独立した記録によって確認します。
  3. 「プロキシログが1つあればすべて把握できる。」 社内ネットワークを経由しない利用や、既存サービスに組み込まれた機能はプロキシには現れません。情報源は利用経路に合わせて選びます。
  4. 「シャドーAIを見つけたら、利用者を懲戒処分にするよう引き渡す。」 懲戒やツールの承認は経営陣の役目です。監査は規模、リスク、原因を明らかにします。
  5. 「公平にすべてのシステムを同じ深度で確認する。」 リスクが異なるのに深度が同じであれば、最もリスクの高いシステムが十分に扱われません。
  6. 「自律的フレームワークは監査基準になり得ない。」 基準には標準、業界の慣行、組織の指針も含まれます。ただし、なぜそれが適切なのかを明らかにします。
  7. 「内部監査で問題がなかったため、ISO/IEC 42001準拠と記載してもよい。」 認証は認証機関が行うものです。内部監査の結論は、監査した範囲と基準の中でのみ表明します。
  8. 「導入を推進した教授が最高の専門家であるため、検証を任せる。」 専門家は力量とともに客観性を評価しなければなりません。利害関係がある場合は、独立した専門家を起用します。

ひと目でわかるまとめ

テーマ 覚えておくべきこと
監査の役割 評価し、勧告する。承認・運用・懲戒は経営陣の役目(GAO 3.78、3.81)
AIの境界 法的定義(第2条第1・2・5号)から出発し、組み込み機能の例外はポリシーに記載する(AI 600-1 GV-1.6-002)
目録の項目 問いから逆算して定める。データ、基盤モデル・バージョン、利用形態、監督責任者、サプライヤー(GV-1.6-003)
目録の完全性 自己申告は出発点。利用経路別の独立した記録(プロキシ、SSO、カード・経費、管理者設定)で確認する
シャドーAI 規模、リスク(どのようなデータが流出したか)、原因(承認プロセス)を明らかにする
リスクベースの範囲 影響度、発生可能性、過去の確認有無を併せて確認する。顕著なシグナルが監査の中心を決める
監査の深度 管理体制の確認 → 主要統制のテスト → 精密監査。目録の維持管理とは別個
監査基準 法令・標準・指針・慣行。経営陣の基準が適切であればそれを用いる(IIA 13.4)
AI基本法 事前検討(第33条)、責務(第34条)、掲示・5年間保管・利用事業者とみなす規定(施行令第27条)
客観性 過去12か月以内に責任を負っていた活動は評価しない。監査責任者の担当機能は外部の独立した監督、一時的な担当はその期間およびその後12か月間、第三者によるアシュアランス(IIA 2.2、7.1)

公式ドキュメントで確認する

セルフチェック

1-1. AI目録の項目を定める際、「問いから逆算して定める」という言葉の意味を説明し、個人情報のリスクを判断するために必要な項目を2つ挙げてください。

1-2. 在宅勤務の比率が70%である企業において、WebプロキシログのみでAI目録の完全性を確認しようとしています。この手法の限界と、それを補完する情報源を2つ記述してください。

1-3. シャドーAIの利用を発見した後に監査人が明らかにすべき3つの事項を記述し、監査人が行うべきではない事項を1つ、その理由とともに記述してください。

1-4. リスクベースの範囲設定において「顕著なシグナルが監査の中心を決める」という原則を、外部の開発会社が運用するモデルを例に挙げて説明してください。

1-5. NIST AI RMFのように法的義務ではないフレームワークを監査基準として使用できるかどうか、Yellow BookとIIA基準に照らして回答し、使用する際に報告書へ記載すべき事項を記述してください。

1-6. AI基本法施行令第27条において、監査人が証拠要求リストに変換できる内容を3つ記述してください。

1-7. (設計)監査責任者が1年間にわたりAIポリシー委員会の幹事を務めていた組織において、取締役会がその委員会運営に関するアシュアランスを要請しました。業務をどのように構成すべきか、IIA基準に合わせて3行で設計してください。

実習課題

実習

独立した情報源によるAI目録の補完(45分)

  1. 自身の組織(または架空の組織)の働き方を5行で記述する。在宅勤務の比率、決済ポリシー、アクセス遮断ポリシー、主要SaaS、API利用の有無。
  2. 本章の「利用経路」の表を参考に、抜け落ちる可能性が高い経路を3つ選び、それぞれに対応する独立した情報源を定める。
  3. 情報源ごとに「何を抽出するか(フィールド)」、「誰に要請するか」、「この情報源では何を捕捉できないか」を記述する。
  4. 目録に追加する項目を5つ本章の項目表から選び、列を追加する。

完了基準: 3つの情報源すべてについて抽出するフィールドと限界が記載されており、追加した5つの項目がそれぞれどのような問いに答えるものかが1行ずつ説明されている。

実習

リスクの優先順位付けと監査深度の決定(45分)

  1. 補完した目録からAIシステムを5つ選ぶ(架空のものでもよい)。
  2. システムごとに成果物が用いられる意思決定、人の介入、変更頻度、データ、サードパーティへの依存、過去の結果を1行ずつ記述する。
  3. 影響度と発生可能性を高・中・低で評価し、監査深度(第1〜3段階)と配分時間を定める。
  4. 見送った配分案を1つと、見送った理由を記述する。

完了基準: 5つのシステムすべてについて深度と時間が定められており、最も深く確認するシステムの選定根拠がリスクシグナルによって説明され、見送った案の理由が記載されている。