第 3 章 证据收集、测试与抽样

学习目标

• 区分审计证据的充分性与适当性，并阐明提高其可靠性的条件。
• 选取在将公司编制的信息及 AI 生成的资料用作证据前需执行的核查程序。
• 根据审计目的，从全数检查、特定项目选取、随机抽样和分层抽样中选取适用的方法。
• 说明决定样本量的因素，并将样本结果与可容忍标准进行比对评价。
• 设计利用 AI 输出日志重新执行控制运行的程序，并反映生成式 AI 在可复现性上的局限。

引言

某信用卡公司的审计团队正在测试 AI 额度审核中的人工复核控制。业务部门声称“复核记录全都在”，并发送了一个 Excel 文件。该文件中整理了过去一年里的 3.2 万行复核记录，每一行都记录有复核人姓名与“已确认”字样。初级审计人员在工作底稿中写道：“由于超过 3 万笔，证据充分。”

资深审计人员提出了三个问题：这个文件是谁制作的、如何制作的？与系统中记录的复核笔数是否一致？此外，“已确认”这几个字是否足以证明复核人确实进行了判断？3.2 万行记录仅代表数量，并不代表质量。由被审计部门整理的文件，其可靠性低于审计人员直接获取的资料，且在整理过程中可能存在遗漏或被篡改的行。

本章将探讨支撑审计结论的证据。首先梳理审计证据的充分性与适当性、可靠性的一般原则，掌握将公司编制的信息用作证据的条件。随后探讨选取测试项目的三种方法以及样本的设计、规模与评价，最后考察在 AI 时代新出现的证据类型——即日志、生成式 AI 生成的资料，以及审计人员自行使用的 AI 工具结果的处理方法。

核心概念

充分性与适当性

审计人员必须获取充分、适当的证据，以便为得出结论提供合理基础（AS 1105 .04；GAO 8.90）。充分性是对证据数量的衡量，而适当性是对证据质量的衡量，即相关性与可靠性（AS 1105 .05–.06）。风险越大，所需的证据就越多；证据质量越高，对额外佐证证据的需求就越少。然而，仅仅收集更多同类证据，并不能弥补证据质量上的不足（AS 1105 .05）。

《黄皮书》（Yellow Book）也从两个推论归纳了同样的原理：审计风险越大，所需证据的数量就越多、质量也越高；而证据的说服力越强，所需证据的数量就越少（GAO 8.101）。并且它明确指出，大量的证据无法弥补相关性、有效性或可靠性的不足（GAO 8.102）。内部审计师所遵循的 IIA 准则同样要求用于分析与评价的信息必须相关、可靠且充分，并说明由审计人员直接获取、来自独立来源或经过其他信息相互印证的信息，其可靠性更高（IIA 14.1）。

相关性、有效性与可靠性

《黄皮书》将适当性划分为三个维度展开阐述（GAO 8.102）：

• 相关性：证据与所探讨的问题存在逻辑关联及其实质重要程度。样本复核人点击“已确认”的记录，虽然与“复核是否已执行”相关，但与“复核是否筛查出了错误”相关性较弱。
• 有效性：证据在多大程度上切实反映了其意图衡量的事项。客户满意度并非衡量回答准确性的有效证据。
• 可靠性：在进行衡量或测试时，结果保持一致且可验证的程度。这可以通过佐证证据、统计测试以及来自其他渠道的印证来提高。

可靠性的一般原则

AS 1105 与《黄皮书》对判断证据可靠性的一般原则给出了类似的归纳（AS 1105 .08；GAO 8.104）。

这些原则只代表“通常情况”，是作出判断的出发点。即便是独立的外部来源，若该来源并不熟悉相关领域，或附加了限制条件，其可靠性也会降低（AS 1105 .08 附注）。

获取证据的程序

AS 1105 阐述了获取证据的七类程序（AS 1105 .15–.21）：检查（审阅记录或实物资产）、观察（察看他人正在执行的过程，仅局限于观察发生的时间点，且观察行为本身可能会改变被观察者的行为）、询问（向知情人员了解情况，仅凭询问本身不足以作为得出结论的依据）、外部函证（第三方直接向审计人员作出的书面回复）、重新计算（核对数学准确性）、重新执行（由审计人员独立执行被审计单位原先执行的程序或控制）、分析程序（研究数据之间貌似合理的关系，并对异常差异进行调查）。

在 AI 审计中，重新计算和重新执行尤为常用。如果是对于相同输入始终产生相同结果的确定性评分模型，可以使用相同的输入重新运行；如果是人工做出的判断，则可以依据相同的标准重新进行评估。

公司编制的信息

AI 审计中的绝大部分证据都是由公司系统生成的信息。性能报告、处理日志、仪表盘皆属此类。AS 1105 要求，在将公司编制的信息用作审计证据时，必须测试该信息的准确性与完整性，或测试针对准确性与完整性的控制（适用时包括 IT 一般控制和自动化控制），并评估该信息对于审计目的是否足够精确和详细（AS 1105 .10）。

《黄皮书》将这一要求同样适用于审计人员自行提取的数据。无论计算机处理的信息是由他人提供给审计人员还是由审计人员自行提取，都需要对其充分性与适当性进行评估，且该评估包括对照预期目的审查其完整性与准确性（GAO 8.98）。审计人员自行从系统中提取数据，并不意味着免除了核查提取条件是否正确以及是否存在遗漏项目的必要。

具体采用何种方法由所处情境决定。

选取测试项目的三种方法

选取要测试的项目有三种方法（AS 1105 .22）：

1. 选取全部项目（全数检查）：检查整个总体。适用于由少数大额项目组成的总体、采用其他方法难以获取充分证据的重大风险，以及审计程序可自动化并能有效应用于整个总体的情形（.24）。
2. 选取特定项目：选取重要、可疑、有错误历史记录的项目，或超过一定金额的项目（.25）。针对以此方式选取的项目所测试得出的结果，不能推断至整个总体（.27）。在报告中应阐明选取标准和复核笔数，并将结论严格限制在这些项目的范围内（GAO 9.21）。
3. 审计抽样：对总体中低于百分之百的项目实施审计程序，以评价总体的特征（.28）。

由于 AI 系统通常会将大部分处理记录保存为结构化数据，因此对于“是否存在复核人 ID”、“是否在 24 小时内完成处理”这类可基于规则判定的属性，全数分析便成为必然的选择。相反，对于诸如“理由是否符合标准”这类需要人工阅读并判断的属性，仍然需要采用抽样。

抽样方法

选取样本时应使其能够代表总体，且所有项目都应有被选取的机会（AS 2315 .24、.39）。基于随机的选取方法便是其典型代表。如果是控制测试，最好采用能使样本覆盖整个审计期间的选取方法（.39）。

若总体中包含性质不同的群体，则分层更为高效。AS 2315 指出，若根据与审计目的相关的特征将总体划分为相对同质的组别，可以减少所需的样本量，并在各组别中抽取适当数量的样本（.22）。在利用分层抽样的结果对整个总体进行评价时，应先计算各个组别的偏差率，然后按照各组别的规模权重进行加权综合。由于各组别的抽样比例不同，切不可直接将整个样本中的偏差总数相加后再除以样本总量。常见的划分基准包括渠道、金额区间以及错误记录存在差异的部门。

《黄皮书》指出，选取方法的选择取决于审计目的。如果需要代表性样本，统计抽样通常能提供说服力更强的证据；如果不需要代表性样本，则以风险因素为基准的定向选取也可能十分有效（GAO 8.107）。统计抽样和非统计抽样只要运用得当，均可提供充分的证据（AS 2315 .03）。

决定样本量的因素

控制测试的样本量是在考虑可容忍偏差率（在不改变计划信赖程度的前提下可以接受的最大偏差率）、预计偏差率以及过度信赖控制的风险后确定的（AS 2315 .38）。如果是细节测试，则需考虑可容忍错报、误受风险以及预计错报的金额和频率（.23）。

记住以下几个基本规律即可：

• 所需的保证程度越高（即能够承受的可接受风险越低），所需样本量就越大。如果不实施其他程序而仅依赖本项测试，就必须将风险设定得更低，因此样本量就会更大（AS 2315 .19）。
• 可容忍标准越严格，所需样本量就越大。
• 除非总体非常小，否则总体项目数量对样本量的影响微乎其微（梳理了细节测试影响因素的 AS 2315 附录表 1）。处理笔数增加到四倍，并不意味着样本量也需要扩大为四倍。
• 如果预计偏差率超过了可容忍偏差率，则无论怎样扩大样本量，都难以支持原计划的信赖程度。此时应调整信赖控制的计划，并增加直接应对风险的程序（.43）。

样本结果评价

样本偏差率是总体偏差率的最佳估计值。然而，即使样本结果低于可容忍偏差率，也必须考虑实际总体偏差率超过可容忍偏差率的风险，即抽样风险（AS 2315 .41）。AS 2315 举例说明，当可容忍偏差率为 5% 时，若 60 个样本项目中没有偏差，则可认为抽样风险处于可接受的较低水平；若出现两笔或两笔以上的偏差，则可认为该风险过高而不可接受。样本量越小，抽样风险就越大（.10）。如果偏差为 1 笔，恰好介于这两个示例之间，那么即便样本偏差率（1/60）低于可容忍偏差率，也必须另行评估实际偏差率超出可容忍限度的风险，必要时需扩大样本量或追加其他证据。

在评价过程中有两个常见易错点。第一，因缺乏证据而无法核验的样本项目。如果既无法执行计划的程序，也无法应用适当的替代程序，则应审查其原因，且通常应将该项目视为一项偏差（.40）。若将日志丢失的项目直接剔除或替换为其他项目，会导致结果看起来好于实际情况。第二，偏差的定性方面。除了发生频率外，还应评估偏差的性质与起因，即究竟属于单纯失误、误解指令，还是故意规避控制（.42）。

依据审计问题逆向设计日志

AI 系统的日志是审计人员最重要的证据来源。然而，由于日志通常是由开发人员为了排查故障而记录的，因此往往无法回答审计提出的问题。GAO 框架建议将模型及模型外部组件连同运行规格和参数一并列出清单（实践 3.1），并对监控结果与纠正措施进行文档化记录，以提高可追溯性（实践 4.3）。

保存期限同样是日志设计的一部分。如果公司政策规定决策依据需保存数年，而日志设置却仅为 30 天，这本身就是一项控制缺陷，并构成了审计证据的局限。

可复现性与重新执行

重新执行是否具有意义，取决于系统的本质特性。如果是基于树的评分模型这类对相同输入始终给出相同结果的确定性模型，且已妥善归档了经批准的版本，那么由审计人员向相同版本输入相同数据重新运行并比对结果，就是证明“记录的评分是否确实出自经批准模型”的最直接证据。

生成式模型通常并非如此。例如，Anthropic 的 Messages API 文档指出，在支持调节 temperature 的模型中，即便将其降至 0.0，其输出结果也并非完全是确定性的；同时还说明有些最新模型甚至不支持该参数。现在重新运行的结果若与记录不符，不能就此断定记录有误；即便一致，也不能证明记录必然正确。因此，对于有生成式 AI 参与的决策，重新执行关注的不是“再次运行是否能得到相同结果”，而是“依据记录的输入与输出，判断是否符合既定标准”。为此，输入原文、输出原文以及版本信息必须完整保存在日志中。

被审计组织由 AI 生成的证据

被审计组织使用生成式 AI 整理会议纪要摘要、总结咨询记录、起草报告初稿的情况日益增多。当此类资料作为证据提交时，必须牢记两点：第一，摘要属于根据原始资料编制的信息，而原始文档的可靠性高于转换后的资料（AS 1105 .08）。第二，生成式 AI 存在言之凿凿却给出虚假内容的 confabulation（通常称为幻觉）风险（NIST AI 600-1）。AI 会议纪要中出现的“委员全员一致同意”这一语句，必须与录音原件或电子审批记录进行核对，方可作为证据。若各项证据之间互不一致，则应执行消除该差异的程序，并评估其对其他审计程序的影响（AS 1105 .29）。

审计人员使用的 AI 工具

审计人员也会使用 AI。在从数万条咨询记录中查找问题案例，或从合同中提取特定条款时，生成式 AI 分类工具能提供极大的帮助。然而，并非由审计人员得出的结果就天然具备可靠性。应当遵循以下四个步骤：

1. 首先以书面形式明确判定标准。 只有具备明确的标准，才能构建验证样本并向工具下达指令。
2. 利用验证样本按类型衡量错误。 将审计人员亲自判定的代表性样本与工具给出的结果进行比对，分别衡量误报（误抓）和漏报（遗漏）的比例。在查找罕见违规的任务中，即使整体错分率很低，也可能遗漏大量违规情况；因此，只有掌握漏报比例（第 4 章的假阴性率），才能对被归类为“不适用”的项目得出结论。在导入审计对象数据之前，还应核查工具的数据处理条款与条件。
3. 应用于全量数据，并对照原文核实筛选出的项目。 只有当漏报率和误报率均处于可容忍范围内时，方可对全量数据进行分类；对于工具归类为“适用”的项目，审计人员必须对照原文进行核实后，方可计入审计结论。
4. 在工作底稿中记录运行条件。 《黄皮书》要求形成充分的文档记录，使得未曾参与该项工作的有经验审计人员仅凭工作底稿即可理解程序的性质、时间、范围、结果与证据以及得出的结论（GAO 8.132）。应记录指令提示词、模型版本、运行时间以及输入的项目数量。

使用相同的指令提示词运行两次得到相同结果这一事实，或是供应商提供的通用基准测试评分，均不能证明其在本项任务中的准确性。

深入阅读

全量分析时代依然需要抽样的原因

随着数据分析工具日益完善，我们常听到“现在不需要抽样了，全部查看就行”这样的说法。这只对了一半。对于可以通过规则判定的属性，全量分析确实比抽样更完整、更高效。抽样风险随之消除，而且不会遗漏任何异常案例。

然而，全量分析也有其局限性。第一，分析只能看到数据所呈现的内容。分析结果显示每笔记录都有审核人 ID，这仅表明履行了审核形式，并不能证明判断是否正确。判断的质量依然需要人工查阅原始资料进行抽样重新执行。第二，分析结论取决于数据的完整性和准确性。如果提取条件有误或遗漏了部分期间，所谓的“全量”反而会带来虚假的安全感。第三，如果让 AI 分类工具“读取”全量数据，就会产生工具误判违规的风险。即使对所有项目都实施了程序却仍未能发现错误，这种风险并非抽样风险，而是非抽样风险（AS 2315 .11）；而在通过验证样本估算误分类率时，该估算又会伴随抽样风险。归根结底，良好的审计设计会将两者结合起来。形式属性通过全量分析确认，判断质量通过抽样确认，工具的可靠性则通过验证样本来确认。无论何种情况，在分析之前都必须先确认源数据的完整性和准确性。

智能体日志的完整性

在 AI 智能体自主下单并修改记录的系统中，日志的可靠性问题变得更加尖锐。因为留下记录的主体本身就是审计对象。如果日志保存在运行智能体的服务器上，且智能体或运维人员拥有该存储位置的写入权限，那么日志就无异于“智能体自己写的日记”。

AS 1105 指出，当针对公司生成信息的控制有效时，该信息才更加可靠（.08）。将这一原则应用于智能体日志，就会引出两个问题：日志是否记录在智能体和运维人员无法篡改的独立存储中？以及日志是否与独立的外部记录相符，例如交易对手方系统的订单记录或结算记录？让智能体总结自己的活动，只不过是在同一个系统中多获取一份陈述而已，并不是独立的证实。

工作场景

多松卡：相同的控制，不同的抽样

信用卡公司“多松卡”采用如下机制：当 AI 自动批准或将临时提高支付额度的申请转为“需审核”后，由审核员对“需审核”的案例进行判断。审计团队希望对过去一年的处理事项确认两点：一是按照政策规定，“需审核”事项是否全部在 4 小时内连同审核员 ID 一并完成处理；二是审核员批准时留下的理由是否符合政策标准。

针对第一个问题，一名团队成员建议采用 60 笔的随机抽样。团队负责人则指出，要确认的属性是处理时间和 ID 这类结构化数值，且 9.4 万笔处理事项全部记录在系统数据表中，因此选择了全量分析。不过在分析之前，审计团队将自行提取的数据条数与月度处理报告进行了核对，发现 3 月份的数据缺失了两天，于是重新进行了提取。全量分析结果显示，超过 4 小时的案例有 312 笔，审计团队按原因对这些案例重新进行了分类。

第二个问题需要人工阅读理由。总体为 1.8 万笔批准案例，其中海外商户案例有 2,000 笔，且在上次审计中理由遗漏现象高度集中于此。如果采用简单随机抽样抽取 60 笔，海外案例平均只能抽到 7 笔左右。于是审计团队采用分层抽样，将海外和国内分开各自抽取样本。虽然有人提议只抽取存在风险信号的海外案例，但这样抽取的结果无法推断至整个批准总体，不符合审计目的。

在评价阶段，国内样本中有一笔案例包含理由的附件在系统迁移过程中丢失，无法进行核实。也没有其他可供核实相同内容的记录。审计团队并未排除该案例，而是将其评定为偏差，并将附件丢失记录为单独的控制问题。工作底稿中针对这两个问题分别记录了选择该方法的原因、舍弃的方法以及数据完整性确认的结果。

世春公社：如何重新执行生成式回答

公共机构“世春公社”在处理廉租房入住资格咨询时，由生成式 AI 起草回答草稿，再由咨询员审核后发送。审计团队希望确认“是否存在错误告知资格标准的回答通过了审核”。

一名团队成员建议将上季度的一些咨询重新输入现有系统，观察是否会得出相同的回答。审计团队负责人出于两点原因未予采纳：生成式模型即使输入相同，输出也可能发生变化，因此无法根据重新运行的结果来判断过去记录的对错；而且上季度之后知识库文档已更新了两次，现有系统已不再是当时那个系统。

审计团队首先查看了日志。日志中保留了咨询原文、AI 草稿原文、咨询员发送的最终回答、指令与知识库文档的版本，以及咨询员 ID。但由于日志保留设置为 90 天，季度初的部分记录即将超过保存期限而被删除。审计团队首先要求对记录予以保全，随后从 4.1 万笔咨询中抽取了样本。接着，审计人员参照当时的知识库文档版本和公告内容，对咨询员发送的回答重新进行了判断。这就是生成式 AI 参与下的控制重新执行。

在 60 笔样本中，有 3 笔错误告知收入标准的回答被直接发送了出去。这 3 笔全都是咨询员未能纠正 AI 草稿错误的情况。审计团队结合抽样风险对这一结果进行了评价，并将短于决策依据保存期限（3 年）的日志保留设置列为单独的审计发现事项。

易错点

1. “数据有数万条，因此证据是充分的。” 数量只是充分性的一个方面。质量低劣的证据无法通过数量来弥补。
2. “审计人员亲自提取的数据，无需确认完整性。” 无论是谁提取的计算机处理信息，都必须评估其完整性和准确性（GAO 8.98）。
3. “仅挑选高风险案例查看的结果，可以说明整体错误率。” 选取特定项目测试的结果无法推断至总体（AS 1105 .27）。
4. “总体增加到四倍，样本量也必须增加到四倍。” 除非总体非常小，否则总体规模对样本量几乎没有影响。
5. “无法核实的样本项目排除在外不予评价。” 如果也无法实施替代程序，通常应将其视为偏差（AS 2315 .40）。
6. “样本偏差率低于或等于可容忍偏差率即为通过。” 由于存在抽样风险，必须考虑实际偏差率超过可容忍偏差率的可能性。即使像 60 笔中出现 1 笔（1.7%）这样看似很低，也需要做出审慎判断。
7. “重新运行生成式 AI 得出相同回答，即证明记录无误。” 生成式模型并非完全确定性。应当依据已记录的输入和输出重新执行判断。
8. “AI 会议纪要或 AI 摘要没有人为失误，因此更可靠。” 摘要是由原文衍生的资料，其中可能夹杂看似合理的错误回答。必须与原文进行核对。

要点速览

查阅官方文档

• PCAOB — AS 1105 Audit Evidence: 充分性与适当性（.04–.08）、公司生成的信息（.10）、程序（.15–.21）、项目选取（.22–.28）、相互矛盾的证据（.29）。
• PCAOB — AS 2315 Audit Sampling: 分层（.22）、代表性（.24, .39）、样本量（.19, .23, .38，附录表 1）、评价（.40–.43）。
• GAO — Government Auditing Standards 2024: 证据（8.90–8.115）、工作底稿（8.132–8.135）。
• GAO-21-519SP: 实践 3.1（组件清单）、4.3（可追溯性）。
• NIST AI 600-1: Confabulation 与自动化偏差。
• Claude Docs — Messages API: temperature 参数说明与确定性相关注释。

自测

3-1. 写出 Yellow Book 所指适当性的三要素，并解释“以客户满意度评分判断 AI 回答的准确性”这一计划在其中哪个要素上存在欠缺。

3-2. 写出将公司生成信息作为证据使用的两种方法，并各举出一个适用的场景。

3-3. 写出在审计报告中引用仅挑选高风险案例进行核实的结果时，必须遵守的限制条件。

3-4. 写出确定控制测试样本量的三个要素，并用一句话说明总体规模对样本量的影响。

3-5. 在可容忍偏差率为 5% 的情况下测试了 60 笔样本，结果出现 1 笔偏差。写出审计人员在得出结论前应一并考虑的两项内容。

3-6. 解释对确定性评分模型与生成式摘要模型的结果进行重新执行的方法为何不同，并写出生成式模型重新执行所需的三个日志记录项。

3-7.（设计题）审计团队计划使用生成式 AI 对 2 万件内部举报进行分类，以排查涉嫌舞弊案例。请将这一结果用作审计证据的流程设计为四个步骤。

实操练习