第3章 証拠収集とテスト・サンプリング

学習目標

• 監査証拠の十分性と適切性を区別し、信頼性を高める条件を説明します。
• 企業が作成した情報やAIが作成した資料を証拠として利用する前に確認すべき手続を選択します。
• 監査目的に合わせて、全数検査、特定項目の選定、無作為サンプリング、層化サンプリングの中から適切な方法を選択します。
• サンプルサイズを決定する要因を説明し、サンプリング結果を許容基準と比較して評価します。
• AI出力ログを用いて統制の運用を再実施する手続を設計し、生成AIの再現性の限界を反映します。

はじめに

あるクレジットカード会社の監査チームが、AI限度額審査における人間のレビュー統制をテストしています。担当部署は「レビュー記録はすべて揃っている」として、1つのExcelファイルを送ってきました。ファイルには過去1年間のレビュー案件3万2,000行が整理されており、すべての行にレビュー担当者の名前と「確認完了」が記載されています。新人監査人は「3万件を超えているため証拠は十分である」と調書に記載しました。

シニア監査人は3つの問いを投げかけます。このファイルは誰がどのように作成したのか？ システムに記録されたレビュー件数と一致しているか？ そして「確認完了」という文字は、レビュー担当者が実際に判断を下した証拠なのか？ 3万2,000行という数字は量を示しているに過ぎず、質を示しているわけではありません。被監査部署が整理したファイルは監査人が直接入手した資料よりも信頼性が低く、整理の過程で欠落したり改変されたりした行がある可能性があります。

本章では、監査の結論を支える証拠を扱います。まず証拠の十分性と適切性、信頼性の一般原則を整理し、企業が作成した情報を証拠として利用するための条件を学びます。続いて項目を選定する3つの方法とサンプリングの設計・サイズ・評価を扱い、最後にAI時代に新しく生まれた証拠、すなわちログや生成AIが作成した資料、監査人が直接利用するAIツールの結果を取り扱う方法を見ていきます。

重要な概念

十分性と適切性

監査人は、結論を裏付ける合理的な根拠となるよう、十分かつ適切な証拠を入手しなければなりません（AS 1105 .04; GAO 8.90）。十分性は証拠の量であり、適切性は証拠の質、すなわち関連性と信頼性です（AS 1105 .05–.06）。リスクが大きいほどより多くの証拠が必要となり、証拠の質が高いほど追加で裏付ける証拠の必要性は減少します。しかし、同種の証拠をさらに集めても、質の低い証拠を補うことはできません（AS 1105 .05）。

Yellow Bookも同じ原理を2つの前提として整理しています。監査リスクが大きいほどより多く、より質の高い証拠が必要であり、より強力な証拠があればより少ない証拠でも十分であり得るということです（GAO 8.101）。そして、大量の証拠であっても関連性、妥当性、信頼性の不足を埋めることはできないと明確に記述しています（GAO 8.102）。内部監査人が従うIIA基準も、分析や評価に用いる情報が関連しており、信頼でき、十分でなければならないと要求しており、監査人が直接入手した情報や独立した情報源から入手した情報、あるいは他の情報で確認された情報であるほど信頼性が高くなると説明しています（IIA 14.1）。

関連性、妥当性、信頼性

Yellow Bookは適切性を3つに分けて説明しています（GAO 8.102）。

• 関連性：証拠が扱う問題と論理的につながり、重要である度合い。サンプルのレビュー担当者が「確認完了」を押したという記録は、「レビューが実施されたか」とは関連していますが、「レビューによって誤りが除外されたか」との関連性は希薄です。
• 妥当性：証拠が測定しようとする対象を実際に表している度合い。顧客満足度は回答の正確性を測る妥当な証拠ではありません。
• 信頼性：測定またはテストした際に、結果が一貫しており検証可能な度合い。裏付けとなる証拠、統計的テスト、他の情報源による確認によって高めることができます。

信頼性の一般原則

AS 1105とYellow Bookは、証拠の信頼性を判断する一般原則を同様に整理しています（AS 1105 .08; GAO 8.104）。

この原則は「概して」そうであるということであり、判断の出発点です。独立した外部の情報源であっても、その情報源が当該分野に精通していなかったり制限条件を付していたりする場合は、信頼性が低下します（AS 1105 .08 注釈）。

証拠を入手する手続

AS 1105は、証拠を入手する手続を7つ説明しています（AS 1105 .15–.21）。検査（記録や資産を精査すること）、観察（他者が実施するプロセスを見届けること。観察の時点に限定され、観察自体が行為を変えてしまう可能性がある）、質問（知識のある人に尋ねること。質問単独では結論の根拠とはならない）、外部確認（第三者が監査人に直接送付する回答）、再計算（数学的な正確性を確認すること）、再実施（企業が実施した手続や統制を監査人が独自に再実行すること）、分析的手続（データ間の合理的な関係性を分析し、予測と異なる差異を調査すること）です。

AI監査では、再計算と再実施が特に頻繁に用いられます。同一の入力に対して常に同一の結果を出力する決定論的スコアリングモデルであれば、同一の入力で再実行してみることができますし、人間が下した判断であれば同一の基準で再度判断してみることができます。

企業が作成した情報

AI監査における証拠の大部分は、企業のシステムが作成した情報です。性能レポート、処理ログ、ダッシュボードがまさにこれに当たります。AS 1105は、企業が作成した情報を証拠として利用する場合、その情報の正確性と完全性をテストするか、正確性と完全性に対する統制（該当する場合はIT全般統制および自動化統制を含む）をテストし、情報が監査目的に対して十分に高精度かつ詳細であるかを評価するよう求めています（AS 1105 .10）。

Yellow Bookはこの要求を監査人が直接抽出した資料にも適用します。コンピュータで処理された情報の十分性と適切性は、その情報が監査人に提供されたものであれ監査人が直接抽出したものであれ評価し、その評価には意図した目的に照らした完全性と正確性の検討が含まれます（GAO 8.98）。監査人がシステムから直接抽出したからといって、抽出条件が適切であったか、欠落した案件がないかを確認する必要がなくなるわけではありません。

どの方法を採用するかは状況によって決定されます。

項目を選定する3つの方法

テスト対象の項目を選定する方法は3つあります（AS 1105 .22）。

1. 全項目の選択（全数検査）：母集団全体を対象とします。金額の大きい少数の項目で構成される母集団、他の方法では十分な証拠を入手することが困難な重要リスク、そして監査手続を自動化して母集団全体に効果的に適用できる場合に適しています（.24）。
2. 特定項目の選択：重要である、疑わしい、誤りの履歴がある項目や、一定金額以上の項目を選定します（.25）。このようにして選定された項目の結果は、母集団全体へと推計することはできません（.27）。レポートには選定基準とレビュー件数を明記し、結論をその範囲に限定して記述します（GAO 9.21）。
3. 監査サンプリング：母集団の一部に手続を適用し、母集団の特性を評価します（.28）。

AIシステムは処理記録の大部分を構造化データとして残すため、「レビュー担当者IDが存在するか」「24時間以内に処理されたか」のようにルールによって判定できる属性については、全数分析が自然な選択肢となります。逆に、「理由が基準に合致しているか」のように人間が読んで判断しなければならない属性については、依然としてサンプリングが必要です。

サンプリング手法

サンプルは母集団を代表するように抽出しなければならず、すべての項目が抽出される機会を持たなければなりません（AS 2315 .24, .39）。無作為に基づく選定がその代表的な方法です。統制テストであれば、監査対象期間全体から抽出され得るような選定手法を採用することが望ましいとされます（.39）。

母集団の中に性質の異なるグループが存在する場合、層化が効率的です。AS 2315は、監査目的に関連する特性によって母集団を比較的均質なグループに分割すれば、必要なサンプルサイズを削減でき、各グループから適切な数を抽出できると説明しています（.22）。層化サンプリングの結果から母集団全体について言及する際には、グループごとに逸脱率を算出した後、グループの規模の割合に合わせて加重合算します。グループごとに抽出比率が異なるため、サンプル全体の逸脱件数を単純に足して割ってはいけません。チャネル、金額帯、誤り履歴の異なる部署などが一般的な基準となります。

Yellow Bookは、選定手法は監査目的に依存すると整理しています。代表サンプリングが必要な場合は統計的サンプリングが概してより強力な証拠を提供し、代表サンプリングが必要ない場合はリスク要因を基準とした標的選定も効果的であり得ます（GAO 8.107）。統計的サンプリングと非統計的サンプリングのいずれも、適切に適用すれば十分な証拠を提供することができます（AS 2315 .03）。

サンプルサイズを決定する要因

統制テストのサンプルサイズは、許容逸脱率（計画した信頼度を変更することなく受け入れ可能な最大の逸脱率）、予想逸脱率、統制への過度の依存のリスクを考慮して決定します（AS 2315 .38）。詳細テストであれば、許容誤謬、誤認受入のリスク、予想される誤謬の規模と頻度を考慮します（.23）。

いくつかの基本的な方向性を押さえておくとよいでしょう。

• 求める確信度が高いほど、すなわち許容可能なリスクが低いほど、サンプルサイズは大きくなります。他の手続を伴わずにこのテストのみに依拠する場合、リスクを低く設定しなければならないためサンプルサイズは大きくなります（AS 2315 .19）。
• 許容基準が厳格であるほど、サンプルサイズは大きくなります。
• 母集団の項目数は、母集団が極めて小さくない限り、サンプルサイズにほとんど影響を与えません（詳細テストの要因を整理したAS 2315付録表1）。処理件数が4倍になったからといって、サンプルサイズを4倍に増やす必要はありません。
• 予想逸脱率が許容逸脱率を超える場合、サンプルサイズをいくら増やしても計画した信頼を裏付けることは困難です。この場合は統制に依拠する計画を変更し、リスクに直接対応する手続を増やします（.43）。

サンプリング結果の評価

サンプルの逸脱率は、母集団の逸脱率の最良の推計値です。しかし、サンプルの結果が許容逸脱率を下回っていても、実際の母集団の逸脱率が許容逸脱率を超えるリスク、すなわちサンプリングリスクを考慮しなければなりません（AS 2315 .41）。AS 2315では、許容逸脱率が5%の場合、サンプル60件において逸脱がなければサンプリングリスクは受容可能な水準にまで低いとみなすことができ、逸脱が2件以上であれば受容できないほど高いとみなすことができる、という例が挙げられています。サンプルサイズが小さいほど、サンプリングリスクは高くなります（.10）。逸脱が1件のように2つの例の間に位置する場合、サンプルの逸脱率（1/60）が許容逸脱率を下回っていたとしても、実際の逸脱率が許容値を超えるリスクを別途判断しなければならず、必要に応じてサンプルサイズを拡大するか他の証拠を追加します。

評価において誤りやすいポイントが2つあります。第1に、証拠が存在せず確認できないサンプル項目です。計画していた手続も適切な代替手続も適用できない場合はその理由を検討し、通常はその項目を逸脱とみなします（.40）。ログが消失した案件を除外したり別の案件に差し替えたりすると、結果が実際よりも良好に見えてしまいます。第2に、逸脱の質的側面です。頻度とともに逸脱の性質や原因、すなわち単なるミスなのか、指示を誤解したのか、それとも意図的な迂回なのかを評価します（.42）。

ログは監査の問いから逆算して設計する

AIシステムのログは、監査人にとって最も重要な証拠源です。しかし、ログは通常、開発者が障害を修正するために作成するため、監査上の問いに答えられないケースが多々あります。GAOフレームワークは、モデルおよびモデル外部の構成要素を運用仕様・パラメータとともに一覧化し（実務プラクティス3.1）、モニタリング結果と是正措置を文書化して追跡可能性を高めるよう求めています（実務プラクティス4.3）。

保管期間もログ設計の一部です。社内規定で決定根拠を数年間保管するよう定めているにもかかわらず、ログの設定が30日間になっているとすれば、それ自体が統制上の不備であり、監査証拠の限界となります。

再現可能性と再実施

再実施が有意義であるかどうかは、システムの性質に依存します。決定木ベースのスコアリングモデルのように、同一の入力に対して同一の結果を出力する決定論的モデルであり、承認されたバージョンが保管されているのであれば、監査人が同一のバージョンに同一の入力を与えて再実行し、結果を比較することが、「記録されたスコアが承認されたモデルから出力されたものか」に対する最も直接的な証拠となります。

生成モデルは通常これとは異なります。例えば、AnthropicのMessages APIドキュメントでは、temperatureを調整できるモデルにおいて0.0に下げたとしても結果が完全に決定論的になるわけではないと明記されており、このパラメータをサポートしていない最新モデルもあると案内されています。今改めて再実行した結果が記録と異なっているからといって記録が誤っているとは判断できませんし、一致したからといって正しかったと判断することもできません。そのため、生成AIが関与した意思決定においては、「再実行して一致するか」ではなく、「記録された入力と出力に基づいて、判断が基準に合致していたか」を再実施します。このためには、入力の原文、出力の原文、バージョン情報がログに残されていなければなりません。

被監査組織のAIが作成した証拠

被監査組織が生成AIを用いて議事録を要約したり、相談記録を要約したり、レポートの草案を作成したりするケースが増えています。このような資料が証拠として提出された場合、2つの点を念頭に置かなければなりません。第1に、要約は原本から作成された資料であり、原本の方が変換された資料よりも信頼性が高いということです（AS 1105 .08）。第2に、生成AIには、もっともらしいものの誤った内容を自信満々に生成する confabulation（一般にハルシネーションと呼ばれる）のリスクがあります（NIST AI 600-1）。「委員全員が同意」というAI議事録の文言は、録音の原本や電子決裁の記録と照合して初めて証拠となります。証拠同士が一致しない場合、その差異を解消する手続を実施し、他の監査手続に与える影響を判断します（AS 1105 .29）。

監査人が利用するAIツール

監査人もまたAIを利用します。数万件に及ぶ相談記録の中から問題事例を探索したり、契約書から特定の条項を抽出したりする際、生成AI分類ツールは大きな助けとなります。しかし、監査人が作成した結果だからといって、信頼性が自ずと生じるわけではありません。以下の4つのステップを守ります。

1. 判定基準をまず文章で定める。 基準が存在して初めて検証用サンプルを作成し、ツールに指示を与えることができます。
2. 検証用サンプルで誤りを類型別に測定する。 監査人が直接判定した代表サンプルとツールの結果を照合し、誤って抽出した件と見逃した件の比率を個別に測定します。稀な違反を検出する課題では、全体の誤分類率が低くても違反を多く見逃してしまう可能性があるため、見逃した件の比率（第4章の偽陰性率）を把握して初めて「該当なし」と分類された案件についても結論を導くことができます。監査対象データを投入する前に、ツールのデータ処理条件も確認します。
3. 全体に適用し、抽出された案件を原文で確認する。 見逃した比率と誤って抽出した比率がそれぞれ許容範囲内である場合にのみ全体を分類し、ツールが「該当」と分類した案件については監査人が原文を確認した上で結論に利用します。
4. 実行条件を調書に残す。 Yellow Bookは、これまで関与していなかった経験豊富な監査人が調書を見るだけで手続の性質、時期、範囲、結果と証拠、結論を理解できるように文書化することを要求しています（GAO 8.132）。指示文、モデルのバージョン、実行日時、入力件数を記録として残します。

同一の指示文で2回実行して結果が一致したという事実や、ベンダーによる一般的なベンチマークのスコアは、この課題における正確性を証明するものではありません。

さらに深く

全数分析の時代にも標本が必要な理由

データ分析ツールの性能が向上するにつれ、「もはや標本は不要であり、すべてを見ればよい」という言葉をよく耳にします。これは半分は正解です。ルールに基づいて判定できる属性であれば、全数分析のほうが標本よりも完全で効率的です。標本リスクがなくなり、例外的な事象を一つも見逃しません。

しかし、全数分析にも限界があります。第一に、分析はデータが語るものしか見ることができません。すべての案件にレビュー担当者IDが存在するという分析結果は、レビューが実施されたという形式を示しているにすぎず、その判断が正しかったかどうかまでは示してくれません。判断の質を確かめるには、依然として人間が生データを読み解く標本の再実施が必要です。第二に、分析の結論はデータの完全性と正確性に依存します。抽出条件が誤っていたり一部の期間が漏れていたりした場合、「全数」という言葉がむしろ誤った確信を与えることになります。第三に、AI分類ツールに全数を「読ませた」場合、ツールが違反を誤って判定するリスクが生じます。すべての項目に手続を適用しながらも誤りを見落とすこのようなリスクは、標本リスクではなく非標本リスクであり（AS 2315 .11）、検証用標本によって誤分類率を推定する際には、その推定に再び標本リスクが伴います。結局のところ、優れた設計とは両者を組み合わせることです。形式的な属性は全数分析で、判断の質は標本で、ツールの信頼性は検証用標本で確認します。いずれの場合も、分析を行う前に元データの完全性と正確性から確認します。

エージェントログの完全性

AIエージェントが自ら発注を行い記録を修正するようなシステムでは、ログの信頼性の問題が一層先鋭化します。記録を残す主体そのものが監査対象であるためです。エージェントが実行されるサーバーにログが保存され、エージェントや運用者がその保存先に対する書き込み権限を持っている場合、そのログは「エージェントが自分で書いた日記」に近いものになってしまいます。

AS 1105では、会社が作成した情報は、その情報に対する統制が有効である場合に、より信頼性が高くなると説明されています（.08）。これをエージェントログに当てはめると、2つの問いになります。ログはエージェントや運用者が改ざんできない別の保存先に記録されているでしょうか。そして、ログは独立した外部の記録、例えば取引相手のシステムの注文記録や決済記録と一致しているでしょうか。エージェントに自らの活動を要約させることは、同一システムによる陳述をもう1つ受け取るだけのことであり、独立した確認にはなりません。

実務の場面

千松カード：同じ統制、異なる標本

クレジットカード会社の「千松カード」では、AIが決済限度額の一時引き上げ申請を自動承認するか「要確認」に回し、審査員が「要確認」案件を判断します。監査チームは過去1年間の処理案件について、2つの点を確認しようとしました。1つは、規程上「要確認」とされた案件がすべて4時間以内に審査員IDとともに処理されていたか、もう1つは、審査員が承認時に残した理由が規程の基準に合致していたかでした。

1つ目の問いに対し、あるチームメンバーは60件の無作為標本を提案しました。しかしチーム長は、確認すべき属性が処理時刻とIDという構造化された値であり、処理案件9万4千件がすべてシステムのテーブルに存在するという点を挙げ、全数分析を選択しました。ただし分析の前に、監査チームが直接抽出したデータの件数を月別処理報告書と照合し、3月のデータに2日分の欠落があることを見つけ出して再抽出を行いました。全数分析の結果、4時間を超過した案件が312件判明し、監査チームはこれらの案件を原因別に再分類しました。

2つ目の問いは、人間が理由を読み解く必要がありました。母集団は承認案件1万8千件でしたが、このうち海外加盟店の案件が2千件を占めており、前回の監査で理由の記載漏れが集中していた部分でした。単純無作為抽出で60件を抽出すると、海外案件は平均して7件程度しか抽出されません。そこで監査チームは、海外と国内に分けてそれぞれ標本を抽出する層化抽出法を用いました。リスクシグナルのある海外案件だけを抽出すべきだという意見もありましたが、そのように抽出した結果からは承認案件全体を推計することができず、監査目的に合致しませんでした。

評価の段階で、国内標本のうち1件は理由が記載された添付ファイルがシステム移行中に消失しており、確認することができませんでした。同じ内容を確認できる他の記録もありませんでした。監査チームはその案件を除外することなく逸脱として評価し、添付ファイルの消失を個別の内部統制上の問題として記録しました。調書には、2つの問いそれぞれについて手法を選択した理由、採用を見送った手法、データ完全性の確認結果が記載されました。

世の春公社：生成AIによる回答をどう再実施するか

公共機関の「世の春公社」では、賃貸住宅の入居資格に関する問い合わせに対し、生成AIが回答案を作成し、相談員がこれを確認して送信しています。監査チームは、「資格基準を誤って案内した回答が、確認をすり抜けて送信されていないか」を確かめようとしました。

あるチームメンバーは、前四半期の問い合わせを数件、現在のシステムに再入力して同じ答えが出るか確認しようと提案しました。しかし監査チーム長は、2つの理由からそれを受け入れませんでした。生成AIモデルは同一の入力に対しても出力が変わる可能性があり、再実行した結果によって過去の記録の正否を判断することはできません。また、前四半期以降にナレッジ文書が2回更新されており、現在のシステムは当時のシステムと同じではなかったためです。

監査チームはまずログから確認しました。ログには、問い合わせの原文、AIによる回答案の原文、相談員が送信した最終回答、指示文（プロンプト）とナレッジ文書のバージョン、相談員IDが残されていました。ただし、保管期間の設定が90日であったため、四半期初めの記録の一部はまもなく保存期限を迎えて削除されてしまう状況でした。監査チームはまず記録を保全するよう要請した上で、問い合わせ4万1千件から標本を抽出しました。そして、相談員が送信した回答を当時のナレッジ文書のバージョンや公募要領に照らし合わせて、監査人が改めて判断を行いました。これが、生成AIが関与する統制の再実施でした。

標本60件中3件で、所得基準を誤って案内した回答がそのまま送信されていました。3件ともAIの回答案にあった誤りを相談員が修正しなかったケースでした。監査チームはこの結果を標本リスクとともに評価し、決定根拠の保管期間（3年）よりも短いログ保管設定を個別の発見事項として報告しました。

間違えやすいポイント

1. 「データが数万件あるため、証拠は十分である。」 量は十分性の一側面にすぎません。質の低い証拠は量で補うことはできません。
2. 「監査人が直接抽出したため、完全性を確認する必要はない。」 コンピュータで処理された情報は、誰が抽出したかにかかわらず完全性と正確性を評価します（GAO 8.98）。
3. 「リスクの高い案件だけを選んで調べた結果から、全体の誤謬率を言える。」 特定項目抽出の結果は、母集団全体へと推計することはできません（AS 1105 .27）。
4. 「母集団が4倍になれば、標本も4倍に増やさなければならない。」 母集団が極めて小さくない限り、その大きさは標本サイズにほとんど影響を与えません。
5. 「確認できない標本案件は除外して評価する。」 代替手続も適用できない場合は、通常は逸脱とみなします（AS 2315 .40）。
6. 「標本の逸脱率が許容逸脱率以下であれば合格である。」 標本リスクが存在するため、実際の逸脱率が許容水準を超えている可能性を考慮しなければなりません。60件中1件（1.7%）のように低く見えても判断が必要です。
7. 「生成AIを再実行して同じ答えが出れば、記録は正しい。」 生成AIモデルは完全に決定論的ではありません。記録された入力と出力に基づいて判断を再実施します。
8. 「AIが作成した議事録やAI要約は、人間のミスがないためより信頼できる。」 要約は原文から加工された資料であり、もっともらしい誤りが混ざることがあります。必ず原文と照合します。

ひと目でわかるまとめ

公式ドキュメントで確認する

• PCAOB — AS 1105 Audit Evidence：十分性・適切性（.04–.08）、会社が作成した情報（.10）、手続（.15–.21）、項目の選択（.22–.28）、相反する証拠（.29）。
• PCAOB — AS 2315 Audit Sampling：層化（.22）、代表性（.24, .39）、標本サイズ（.19, .23, .38、付録 表1）、評価（.40–.43）。
• GAO — Government Auditing Standards 2024：証拠（8.90–8.115）、文書化（8.132–8.135）。
• GAO-21-519SP：実務 3.1（構成要素インベントリ）、4.3（追跡可能性）。
• NIST AI 600-1：Confabulation（作話）と自動化バイアス。
• Claude Docs — Messages API：temperatureパラメータの説明と決定性に関する注記。

セルフチェック

3-1. Yellow Bookが述べる適切性の3要素を挙げ、「顧客満足度スコアによってAI回答の正確性を判断する」という計画がそのうちどの要素で脆弱であるかを説明してください。

3-2. 会社が作成した情報を証拠として利用するための2つの方法を挙げ、それぞれが適している状況を1つずつ挙げてください。

3-3. リスクシグナルのある案件のみを選んで確認した結果を報告書に記載する際、守るべき制約を述べてください。

3-4. 統制テストの標本サイズを決定する3つの要素を挙げ、母集団の大きさが標本サイズに与える影響を一文で説明してください。

3-5. 許容逸脱率5%で標本60件をテストしたところ、逸脱が1件発生しました。監査人が結論を出す前にあわせて考慮すべき2つの点を述べてください。

3-6. 決定論的スコアリングモデルと生成AI要約モデルの結果を再実施する方法がなぜ異なるのかを説明し、生成AIモデルの再実施に必要なログ項目を3つ挙げてください。

3-7. （設計）監査チームが生成AIを用いて内部通報2万件を分類し、不正の疑いがある事例を探そうとしています。この結果を監査証拠として利用するための手続を4つのステップで設計してください。

実習課題