第5章 報告とフォローアップ

学習目標

• 発見事項を基準・現状・原因・影響の4要素で根拠とともに記述する。
• 原因を証拠によって確認し、その原因のうち組織が対応できるものを対象とした勧告を選択する。
• 会社が定めた方法に従って発見事項のリスク等級と対応期限を決定する。
• 経営陣の意見、監査範囲と限界、標本の推計可能性を報告書に適切に盛り込む。
• 対応の類型に応じた証拠によってフォローアップ対応の完了を確認し、リスク受容を適切な担当者に報告する。

はじめに

ある市役所の監査チームが、AI窓口案内チャットボットの問題を発見しました。報告書草案の最初の一文は次のようになっていました。「チャットボットの運用に不備があるため、管理を強化すること。」担当部署はこの文章を読んで頷いたものの、3か月後にも何一つ変わっていませんでした。何が不備であったのか、なぜ不備が生じたのか、その結果として誰が何をいつまでに行うべきなのかが書かれていなかったからです。

優れた発見事項は、読んだ人が次にとるべき行動が分かるように記述します。あるべき状態（基準）と実際の状態（現状）の差異を示し、その差異を生み出した要因（原因）とその差異がもたらした結果（影響）を証拠で裏付けます。原因を正確に特定してこそ勧告が効果を発揮し、影響を推計してこそ対応の緊急度を決定できます。そして、監査は報告書を提出した日に終わるわけではありません。勧告によって実際に原因が解消されたかを確認して初めて終了します。AI監査の発見事項は市民や顧客に直接影響が及ぶ場合が多く、勧告の履行を確認するこのフォローアップ段階の重要性はより一層大きくなります。

本章では、発見事項の4要素と原因の特定、影響の推計、リスク等級を最初に取り上げます。続いて、勧告と経営陣の意見、結論の表現、範囲と限界を報告書に盛り込む方法を学び、最後にフォローアップ確認の方法と、経営陣がリスクを受け入れた場合の対応を整理します。

重要な概念

発見事項の4つの要素

Yellow Bookは、監査人が発見事項を見出した場合、監査目的に必要な範囲で基準、現状、原因、影響を展開するよう手続を計画し実施することを求めています（GAO 8.116）。まえがきで述べたとおり、Yellow Bookは米国政府監査基準であり、本書は発見事項と報告に関するその基本原則を借用しています。皆様の機関が従うべき国内の監査規程がある場合は、それが優先されます。IIA基準もまた、発見事項を基準と現状の比較から開始して根本原因と影響を探求し、その重要性を評価することを求めています（IIA 14.3）。

4つの要素をすべて備えなければならないわけではありません。監査目的が現状の確認のみであれば、現状だけを展開しても構いません（GAO 8.128）。しかし、改善を導き出す発見事項であれば、原因と影響が欠落していてはなりません。

原因の特定

Yellow Bookは、原因を基準と現状の差異をもたらした要因と定義し、よくある原因として、不適切に設計された方針・手続・基準、一貫性のない、不完全な、あるいは誤った履行、経営陣が統制できない要因を挙げています（GAO 8.126）。また、内部統制が監査目的にとって重要である場合は、原因を究明する際に内部統制の不備を考慮することを求め（8.117）、法令違反という発見事項の根本原因が統制設計の欠陥にある可能性を説明しています（8.129）。

根本原因を見出す最もシンプルな方法は、「なぜ」を繰り返し問うことです。IIA基準は、原因を究明する際に経営陣と協力することを求めています。差異を最もよく知っているのは、その業務を担当している人たちだからです。

1. チャットボットはなぜ古い基準額を案内したのか？ → ナレッジ文書が更新されていなかった。
2. なぜ更新されていなかったのか？ → 担当職員が基準の改定を知らなかった。
3. なぜ知らなかったのか？ → 基準の改定をナレッジ文書に反映する責任者が定められていなかった。

「職員のミス」で思考を止めてしまうと、勧告は研修や問責にとどまり、同じ事態が別の職員によって繰り返されます。原因は証拠によって確認された実際の要因として記述しつつ、そのミスを可能にしてしまった役割、手続、システム設定、契約条項まで辿らなければなりません。原因が経営陣の統制できない外部要因であるならそのように記述し、勧告は組織として対応可能な事柄を狙いとします。

影響の推計と表現

影響は、対応措置が必要な理由を示します（GAO 8.127）。AI監査において、影響は通常3つに分けて記述します。

• すでに発生した結果：誤って案内された件数、誤って却下された申請、阻害された正常な取引。
• 生じ得る結果：統制が現状のままであった場合に、今後生じ得る被害の規模。
• 影響を受けた人：顧客、市民、従業員のうち誰が、何人ほどか。

Yellow Bookは、読者が発見事項の性質と大きさを判断できるよう、確認された事例を母集団や検討した件数と関連付けて説明し、可能であれば金額などで数量化することを求めています。結果を母集団に推計できない場合は、結論をその分だけ限定しなければなりません（GAO 9.21）。リスクの兆候がある案件のみを選んで60件中6件のエラーを発見した場合、「全体の10%がエラー」と書くことはできず、「抽出した高リスク案件60件中6件」と書かなければなりません。

リスク等級と優先順位

IIA基準は、各発見事項の重要性をリスクの発生可能性と影響度によって評価し、監査責任者が定めた方法に従って優先順位を決定することを求めています（IIA 14.3）。等級は会社の方法が定めるものであり、監査人はその方法を事実に一貫して適用します。

等級を判定する際によくある誤りは、実際の被害がまだ生じていないという理由で等級を下げることです。AS 2201は財務報告に係る内部統制について、不備の重大性は虚偽記載が実際に生じたかどうかではなく、統制がそれを防止または発見できない合理的な可能性と潜在的な大きさにかかっていると説明しています（AS 2201 .63–.64）。これは財務報告のための基準ですが、AI監査においても、実際の被害の有無のみによってリスクを下げないという判断にこの原理を借用できます。単価表が毎年変更されるにもかかわらず、AIが参照する単価表を更新する手続が存在しない場合、今四半期に単価が変更されず被害が生じなかったとしても、顧客の金銭に影響を及ぼす合理的な可能性は依然として存在します。

同じ種類のAIエラーであっても、その結果がどこに用いられるかによって等級は異なります。社内会議録の要約における脱落は業務効率の問題であり、経営陣が予算を策定する際に用いる集計のエラーは意思決定の問題であり、顧客に案内する金額のエラーは顧客の権利に関わる問題です。

勧告の記述

Yellow Bookは、勧告が発見事項および結論から論理的に連なり、発見された不備の原因を解消する方向性であるべきであり、勧告する措置を明確に示すことを求めています（GAO 9.23）。効果的な勧告は、実行権限を持つ側に提示され、具体的であり、実行可能であり、費用対効果が高く、測定可能です（9.28）。IIA基準もまた、勧告や是正措置計画が基準と現状の差異を解消し、リスクを受容可能な水準まで低減させ、根本原因に対処することを求めています（IIA 14.4）。

勧告には、すでに被害を受けた人に対する措置も個別に盛り込むことが望ましいです。原因を是正したとしても、誤って却下された申請37件が自然に是正されるわけではないからです。

経営陣の意見の聴取

Yellow Bookは、監査人が報告書の発見事項、結論、勧告、および計画された是正措置に関する責任者の意見を入手して報告書に掲載することを求めています（GAO 9.50–9.51）。意見が発見事項と一致しない場合、監査人はその意見の妥当性を評価しなければならず、同意しない場合は報告書でその理由を説明し、意見が妥当かつ十分で適切な証拠によって裏付けられている場合は報告書を修正します（9.52）。被監査組織が意見を提出しない場合、または合理的な期間内に提出できない場合は、意見を掲載せずに報告書を発行することができ、その事実を報告書に記載します（9.53）。

この原則から2つのことが導かれます。被監査組織の同意は報告書発行の要件ではありません。そして、同意しないという理由だけで発見事項を除外したり、不利な意見を隠蔽したりしてはなりません。監査の実地調査が終了した後に作成された文書は、それ以前の期間の状態を証明することはできないという点も留意しておきます。IIA基準は、勧告や是正措置計画について監査人と経営陣の意見が相違する場合、双方が立場と理由を明らかにして解決を図る所定の方法に従うことを求めています（IIA 14.4）。

結論と保証の表現

結論は発見事項の要約ではなく、そこから導き出された論理的推論であり、証拠の説得力と論理の健全性によってその強度が決まります（GAO 9.27）。IIA基準は、監査結論が監査目的に照らして結果を要約し、保証（アシュアランス）業務の結論には監査対象活動のガバナンス・リスク管理・統制が有効であるかどうかの判断を、有効である場合にはその事実の承認まで盛り込むよう求めています（IIA 14.5）。

AI監査の結論において特に注意すべき表現は、保証の範囲を拡大する文言です。「7つのAIシステムを監査し、問題はなかった」を「当社のAI管理はISO/IEC 42001に準拠している」と書き換えてしまうと、監査していないシステムや手続まで保証しているかのように読めてしまいます。ISO/IEC 42001は個別のシステムではなく組織のAIマネジメントシステム全体に対する要求事項であるため、7つのシステムに対する監査をもってその全体を語ることはできません。また、ISO自体が認証を行うわけではなく、認証は外部の認証機関が実施します。内部監査であっても監査した範囲内で標準の要求事項に適合しているかを評価することは可能ですが、その結論が認証であるかのように受け取られてはなりません。内部監査の結論は、監査を実施した範囲、基準、期間の枠内でのみ記述します。

範囲・方法・限界の明示

Yellow Bookは、読者が誤解しないよう実施した業務の範囲と限界を報告書に明示し、情報の制限や記録へのアクセス拒否といった重要な制約も報告することを求めています（GAO 9.12）。母集団とテストした項目の関係、対象期間、証拠の種類と出所を説明し（9.13）、証拠収集・分析の手法と使用した基準、そして標本結果が結論を大きく裏付けているのであれば標本設計とその理由、母集団へ推計可能かどうかを明らかにしなければなりません（9.14）。証拠に重要な限界や不確実性がある場合は結論とともに明示し（9.20）、開示しなければ読者を誤導しかねない重要な事実も開示する必要があります（9.22）。内部統制が監査目的にとって重要である場合は、内部統制に関する業務範囲と重要な不備を報告書に含めます（9.29）。

AI監査では、次のような事項を方法論に頻繁に記載することになります。ログの保管期間が原因で確認できなかった期間（この限界は証拠保管統制の不備として個別の発見事項になり得ます）、監査チームが使用したAI分類ツールとその検証結果、関与した外部専門家とその作業範囲、監査範囲から除外したシステムとその理由です。

フォローアップ確認の原則

IIA基準は、内部監査人が経営陣による勧告や是正措置計画の履行状況を所定の方法に従って確認することを求めており、その方法には進捗状況の質問、リスクに基づくフォローアップ評価、追跡システムのステータス更新が含まれます。手続の範囲は、発見事項の重要性を考慮して決定します（IIA 15.2）。Yellow Bookもまた、次回の監査を計画する際に前回の勧告の履行状況を確認し、その結果をリスク評価と手続に反映させることを求めています（GAO 8.30）。

経営陣からの「対応完了」の報告は、フォローアップ確認の出発点にすぎません。完了報告、改定された手続書、担当者指定の公文は、統制の設計の有効性を示すだけであり、その統制が原因を解消しながら一定期間機能したという運用の有効性の証拠ではありません。

対応類型別の完了証拠

どのような証拠をもって完了とするかは、対応措置の性質によって決まります。

対応が遅延している場合、IIA基準は経営陣の説明を受けて文書として記録し、監査責任者と協議することを求めています。監査責任者は、遅延や不履行によって経営陣がリスク許容度を超えるリスクを受け入れたのかどうかを判断します（IIA 15.2）。

リスクの受容と報告

NIST AI RMFは、優先度の高いAIリスクへの対応として軽減、移転、回避、受容を挙げ、その対応を策定・計画・文書化することを求めています（MANAGE 1.3）。リスクを受け入れることは正当な選択肢となり得ますし、その決定は経営陣の役割です。

しかし、受け入れたリスクが組織のリスク選好や許容限度を超えるとなれば話は別です。IIA基準は、監査責任者が、経営陣がそのような水準のリスクを受け入れたと判断した場合、最高経営陣と協議し、解決されない場合は取締役会（監査委員会を設置している組織であれば通常は監査委員会）に報告することを求めています。リスクを解消することは監査責任者の責任ではありません（IIA 11.5）。監査の役割は、その決定が適切な権限者の目に留まるようにすることです。リスクが許容限度の範囲内であれば、受容の決定とその根拠、決定権者を記録し、追跡を完了することができます。

さらに深く

AIの指摘事項の影響は人に及ぶ

伝統的な内部統制監査の影響は、多くの場合、金額で表現されます。一方、AI監査の影響は人に直接及ぶケースが少なくありません。誤って否決された融資の申し込み、古い基準で案内されたために申請できなかった福祉給付、不正と誤認されて止められた送金などがこれに当たります。このような影響を推定する際には、3つの要素を分けて算出します。影響を受けた可能性がある人の範囲（その期間に該当の案内を受けたすべての人）、実際に影響を受けたと確認された人（標本抽出や全数分析で確認）、そしてまだ是正できる人（申請期限が残っている人）です。

最後の数字が特に重要です。原因を是正する勧告は今後の被害を防ぎますが、すでに影響を受けた人は別途の対応があって初めて救済されます。監査人は影響を受けた人を特定できる記録が残っているかを確認し、救済措置を原因の解消とは別の勧告として記載します。NIST AI RMFでも、インシデントやエラーを影響を受けた人を含む関係者に通知し、追跡・対応・復旧手順に従って文書化するよう求めています（MANAGE 4.3）。記録が残っておらず対象者を特定できない場合、その事実自体がログ保管統制に対する指摘事項となります。

経営陣と意見が異なるとき

AI監査では、経営陣と意見が異なることがよくあります。「人間が最終決定を行うため監督は十分だ」、「ベンダーが保証しているためデータに問題はない」、「まだ被害が出ていないため等級を下げてほしい」といった反論は、本書の前半の章で扱った誤解と正確に重なります。

このとき監査人が守るべき原則は証拠です。経営陣の反論が新たな証拠によって裏付けられる場合は報告書を修正し、そうでなければ反論とともに同意しない理由を報告書に掲載します。等級は会社が定めた方法に従って付与するものであり、交渉の対象ではありません。ただし、監査人も自身の証拠が十分であるかを再検討する必要があります。反論が監査人の見落とした事実を指摘している場合、報告書を修正することは敗北ではなく、公正な報告書を作成するプロセスなのです。Yellow Bookが草案を責任者に送付して意見を求めることが、公正かつ完全で客観的な報告書を作成するのに役立つと説明している理由もここにあります（GAO 9.54）。

実務の場面

星光市：1文の指摘事項を4つの要素で書き直す

「星光市」の監査担当官室は、AIが市民の提案を分類して担当部署に割り振るシステムを監査しました。草案の指摘事項は「AIによる提案分類の精度が低いため改善が必要である」という1文でした。監査担当官は、この文を4つの要素で書き直させました。

まず基準から探しました。市の提案処理指針では「提案は受付から3日以内に担当部署に割り振る」と定めており、システム導入計画書には「誤って割り振られた提案を5%以下にする」ことが目標として記載されていました。現状は、監査チームが無作為に抽出した提案200件のうち31件（15.5%）が誤って割り振られ、そのうち22件は再割り振りが完了するまでに平均9日を要していたという事実でした。監査チームは無作為標本であったことから、この比率を前四半期の提案6,400件全体に対する推定値として、信頼区間などの標本リスクの大きさと併せて報告することにしました。

原因の究明には時間を要しました。当初は「AIモデルの性能不足」が原因のように思われました。監査チームは「なぜ」を繰り返し問いかけました。誤って割り振られた31件のうち24件は、今年3月の組織改編によって名称と業務が変更された部署に関連していました。システムの部署分類表は改編前のままであり、改編内容をシステムに反映する責任はどの部署にも定められていませんでした。原因はモデルそのものではなく、組織改編を分類表に反映する手順が存在しなかったことでした。

影響は3つ記載しました。推定される誤割り振りの規模、再割り振りの過程で遅延した処理期間、そして処理期限を過ぎた提案について市民への遅延案内が行われていなかった事実です。勧告は情報通信課に対して「組織改編時の分類表の更新責任および期限を定め、更新後の誤割り振り率を次四半期に報告すること」と記載しました。モデルの再学習を勧告しようという意見もありましたが、原因と合致しないため採用を見送りました。市民への案内漏れについては、市民相談担当部署への個別勧告として追加しました。

めぐみエネルギー：「対応完了」3件の異なる確認

都市ガス会社「めぐみエネルギー」では、AIが遠隔検針値の異常を検知して現場点検の対象を選定しています。昨年の監査における3件の指摘事項に対し、経営陣はすべて「対応完了」と報告しました。監査チームはこれら3件を同じ方法では確認しませんでした。

1つ目の指摘事項は、「現場の点検員がAIの選定した対象を根拠の確認なしに一括終了させている」という点でした。経営陣は点検アプリから一括終了機能を削除し、点検写真をアップロードしなければ終了ボタンが有効化されないように変更しました。監査チームはアプリの設定を直接確認し、本番データに残らない検証用アカウントを用いて写真なしでは終了できないことを確かめました。アプリのプログラム変更・アクセス・運用に関する一般統制が今年度有効と評価され、継続的にテストされていたため、設定を確認したうえで変更されていないことを示す変更履歴を確認して終了（クローズ）としました。

2つ目は、「AIが点検対象から除外したメーターの中に、実際には異常があるケースを誰も確認していない」という点でした。経営陣は品質チームが毎月、除外されたメーターから30個を標本として現場確認を行う手順を策定し、先月初めて実施しました。監査チームは初回の実施記録を確認したものの、1か月分の証拠だけでは継続して機能していると判断するには不十分であると判断し、3か月間の運用後にサンプルテストを実施するスケジュールを組みました。ステータスは「対応中（運用確認予定）」のまま据え置かれました。

3つ目は、「検針異常検知モデルの再検証基準が存在しない」という点でした。経営陣はコストを理由に再検証体制を構築せず、現状を維持すると回答しました。同社のリスク管理基準では、「ガスの安全に関わる点検の漏れ」を受容できないリスクと定めていました。監査責任者はこの決定を許容限度を超えるリスクの受容であると判断し、代表取締役と協議を行いましたが、決定が覆らなかったため、取締役会の監査委員会に報告しました。監査チームは、代わりに再検証体制を構築してあげるべきだという内部からの提案は受け入れませんでした。それは経営陣の責務であり、監査チームが作成してしまうと、後から自身の作業を自ら評価することになる自己レビューの脅威が生じるためです。

間違えやすいポイント

1. 「原因は担当者のミスだ。」 ミスで立ち止まると同じことが繰り返されます。そのミスを可能にした役割、手順、設定、契約まで証拠をたどって原因を記載します。
2. 「実際の被害がないため等級を下げる。」 深刻度は統制が失敗する合理的な可能性とその大きさで判断します（AS 2201 .64）。
3. 「勧告は幅広く記載してこそ経営陣が状況に合わせて実行できる。」 効果的な勧告は権限のある側に、具体的かつ測定可能に記載します（GAO 9.28）。
4. 「経営陣が同意しない場合は発見事項を除外する。」 意見の妥当性を評価し、同意しない場合はその理由を掲載します（GAO 9.52）。
5. 「抽出して確認したサンプルのエラー率を全体のエラー率として記載する。」 推定できない結果については、結論をその分だけ限定して記載します（GAO 9.21）。
6. 「監査したシステムに問題がなかったため、標準を遵守していると記載してもよい。」 結論は監査した範囲・基準・期間の中でのみ記載します。認証は認証機関が行います。
7. 「経営陣が完了を報告したため終結する。」 完了報告は出発点です。対応類型に合った証拠で確認します。
8. 「経営陣がリスクを受け入れれば、監査にやるべきことはない。」 許容限度を超える場合は最高経営陣と議論し、解決しない場合は取締役会に知らせます（IIA 11.5）。

ひと目でわかるまとめ

公式ドキュメントで確認する

• GAO — Government Auditing Standards 2024: 発見事項（8.116–8.130）、報告書の内容（9.12–9.29）、責任者の意見（9.50–9.54）、以前の監査結果（8.30）。
• The IIA — Global Internal Audit Standards: 基準11.5（リスク受容の報告）、14.3（発見事項の評価）、14.4（勧告と対応計画）、14.5（結論）、15.2（履行確認）。
• PCAOB — AS 2201: 不備の深刻度（.62–.64）、テスト期間（.52）、自動統制の基準線（.B28–.B29）。
• NIST AI RMF — Core: MANAGE 1.3（リスク対応方針）、MANAGE 4.3（インシデントとエラーの伝達・追跡）。
• ISO — Certification: ISOは認証を行わず、認証機関が行うという説明。

セルフチェック

5-1. 発見事項の4つの要素を記載し、監査目的が現状の確認のみである場合に残りの要素を省略できるかどうかをYellow Bookに照らして答えてください。

5-2. 「担当職員が基準の変更をナレッジドキュメントに反映しなかった」を原因として記載した草案があります。この原因をもう一段階掘り下げるべき理由と、より適切な原因文の例を記載してください。

5-3. 実際の被害が確認されていない統制の不備について等級を定める際、何を基準にすべきかをAS 2201に照らして説明してください。

5-4. 効果的な勧告の条件をYellow Book 9.28に従って記載し、「AI管理体制を強化すること」という勧告がどのような条件を満たしていないかを指摘してください。

5-5. 経営陣が報告書草案の発見事項に同意しない書面意見を提出しました。監査チームがすべきことをYellow Book 9.50–9.53に従って順序立てて記載してください。

5-6. 経営陣が「対応完了」を報告した対応が、（a）四半期ごとに実施する新しい手作業の点検、（b）システム設定の変更である場合、それぞれ終結に必要な証拠を記載してください。

5-7. （設計）経営陣がコストを理由に勧告を履行しないことを決定しました。監査責任者が踏むべき手順をIIA基準11.5および15.2に合わせて段階別に設計してください。リスクが許容限度内である場合と超える場合を分けて記載してください。

実習課題