第 1 章 审计计划、范围与AI清单

学习目标

  • 根据审计目的,选取应包含在AI使用现状清单(资产清单)中的项目。
  • 利用与使用路径相匹配的独立记录,排查通过自主申报编制的清单中的疏漏。
  • 区分发现影子AI时审计人员的职责与管理层的职责。
  • 根据影响和可能性对AI系统的风险进行排序,确定审计对象和深度。
  • 将韩国《人工智能基本法》、《个人信息保护法》、NIST AI RMF、ISO/IEC 42001映射为审计基准。
  • 说明确认与咨询、客观性、利用专家等在计划阶段需要做出的决策。

引言

假设某家中型制造企业的审计室主任在董事会上被问到这样一个问题:“听说最近大家都在用AI,我们公司的AI风险过关吗?”审计室主任很清楚,在IT团队维护的清单上,获批的工具只有四个。然而,上周在员工食堂,他听到销售团队的员工在互相比较各自使用的写作AI;采购团队也反映,供应商提供的报价分析功能“自己开启了”。

要回答“是否过关”这个问题,首先必须弄清“有什么”。凡是未列入清单的,无论在风险评估、控制检查还是审计报告中都会被遗漏。而且,审计资源总是有限的,因此在弄清有什么之后,必须确定该介入哪里以及介入多深。最后,还必须确定以什么为基准来认定“过关”。根据依据的是法律法规、国际标准还是公司自行制定的指南,相同的事实既可能构成审计发现事项,也可能不构成。

本章将依次探讨这三项内容,即清单、范围与基准。首先界定AI审计需要回答的问题以及作为审计对象的“AI”的边界,掌握清单应包含的项目以及排查清单疏漏的方法。接着,探讨如何根据风险确定审计对象和深度,以及如何将用作审计基准的法律法规与框架进行映射。最后,梳理确认与咨询的区分、客观性、利用专家等在计划阶段容易被忽视的决策。

核心概念

AI审计需要回答的问题

内部审计是一项独立评估组织治理、风险管理和控制过程是否有效并协助改进的工作。AI审计亦是如此,只是评估对象中加入了AI系统以及围绕该系统的人员、流程和合同。AI审计需要回答的问题通常有以下五个:

  1. 组织是否清楚自己在使用的AI?(清单与范围,本章)
  2. 降低AI风险的控制措施是否妥善建立,且是否实际有效运行?(第2章)
  3. 支持该判断的证据是否充分且可靠?(第3章)
  4. 模型与数据是否如声称的那样准确、公正,并在发生变动时依然受控?(第4章)
  5. 发现问题时是否及时传达以使其得以整改,且问题是否已实际整改?(第5章)

我们也要明确审计人员不做什么。审计人员不审批或禁用AI工具,不直接设计或运营控制措施,也不对员工进行处分。美国政府问责署(GAO)的政府审计准则(Yellow Book)将负责内部控制的设计、实施和维护,以及决定落实审计人员的哪项建议等列为管理层的职责,并认为如果审计人员承担这些职责,其独立性就会受到损害(GAO 3.78, 3.81)。打个比方,审计人员是建筑物的安全检查员,而不是施工方。一旦检查员开始亲自动手修墙,下一次检查时就变成了评估自己的施工质量。

将什么视为AI

在编制清单之前,必须划定边界。韩国《人工智能基本法》将“人工智能”定义为通过电子方法实现人类具备的学习、推理、感知、判断、语言理解等智力能力的技术,将“人工智能系统”定义为具有不同程度的自主性与适应性、为实现既定目标而对现实及虚拟环境产生影响并推导预测、推荐、决策等结果的人工智能基础系统(第2条第1款、第2款)。生成文本、声音、图像、视频等的系统则单独定义为“生成式人工智能”(第2条第5款)。

在审计实务中,应以法律定义为起点,但最好促使组织政策明确规定清单范围。在边界划分上常引起争议的案例如下:

案例 判断线索
仅依靠规则进行评分的Excel模型 若无学习或推理,通常不属于AI清单,但如果与处理相同决策的AI作为比较对象,则一同记录
现有SaaS中新开启的摘要与草拟功能 属于生成式AI。组织必须明确是将其纳入清单还是在政策中列为例外
使用个人账户登录的外部聊天机器人 若涉及公司数据,即为清单与风险评估的对象
由外部厂商运营的分类服务 即使外包运营也是公司的风险。应与供应商信息一并记录

NIST生成式AI画像(NIST AI 600-1)建议将组织的生成式AI系统纳入清单,如果对嵌入应用软件中的生成式AI存在清单例外,应在组织政策中予以明确(GV-1.6-001, GV-1.6-002)。例外可以存在,但必须在政策中载明。

AI清单的作用与项目

NIST AI RMF要求建立AI系统清单化机制,并根据组织的风险优先级向该机制分配资源(GOVERN 1.6)。清单既是审计的起点,也是管理层的风险管理工具。然而,仅记录名称、部门和费用的清单是无法用于判断风险的。清单中的项目必须从“通过这份清单要回答什么问题”反推确定。

项目 回答的问题
用途以及结果所适用的决策 对谁产生何种影响
受影响人群(客户、员工、公众) 一旦发生损害,谁来承担
所处理的数据以及是否涉及个人信息或敏感信息 是否触及《个人信息保护法》与安全控制措施
基础模型、版本、使用方式(网页、API、内置功能、自托管) 若供应商更换模型,是否会受到影响
供应商及合同/委托关系 数据流向何处,是否需要第三方风险管理与受托人监督
人工管理与监督角色及责任人 是否有人有权推翻结果
审批状态、审批日期、下次审查日期 是否纳入管理体系
已知问题与事故记录 是否已有显现的风险

NIST AI 600-1列举了生成式AI清单项目的示例:数据溯源信息(来源、签名、版本、水印)、来自内部错误追踪和外部事故信息的已知问题、人工监督角色与责任、知识产权/个人信息/敏感数据的考量因素、基础模型及其版本、使用方式等(GV-1.6-003)。审计人员可以通过检查清单是否包含这些项目,来评估清单本身的“设计”。

测试清单完整性的方法

清单最常见的薄弱环节是完整性。像部门问卷调查或部门负责人确认书这种自主申报填写的清单,容易遗漏不知情、遗忘或刻意隐瞒的内容。Yellow Book指出,问卷调查通常提供的是自我报告信息,因此必须评估问卷的设计与实施以判断其可靠性(GAO 8.106);并说明审计人员通过直接检查或测算获取的证据,通常比间接获取的证据更可靠(GAO 8.104)。

因此,审计人员会将自主申报清单与留有使用痕迹的独立记录进行核对。哪些记录有效,取决于使用路径。

使用路径 留下痕迹的位置 容易遗漏的情况
从办公室网络通过网页访问的服务 Web代理、DNS、防火墙记录 居家办公、外勤等不经过公司网络的访问
关联公司账号单点登录(SSO)的应用 SSO应用列表与登录记录 使用个人账号注册的服务
公司信用卡支付或个人垫付后报销 信用卡与费用报销明细 免费服务、现有合同中包含的功能
经采购流程引入的系统 采购与合同台账 小额订阅、免费试用
现有SaaS中内置的AI功能 各项服务的管理员设置、供应商变更通知 管理员未查看设置界面的情况
开发者直接调用的API API密钥签发记录、云服务费用账单 使用个人密钥的情况

单一信息来源无法覆盖所有路径。审计人员应首先掌握组织的实际工作方式(远程办公比例、报销政策、网络访问拦截政策),并选择与容易遗漏的路径相匹配的信息来源。例如,如果一家公司屏蔽了外部AI网站且不予报销AI费用,那么引入新工具的途径就会变窄,但已有服务中开启内置AI的途径依然敞开。

影子AI

影子AI是指在组织的批准或管理体系之外使用的AI。大多数影子AI的出现并非出于恶意,而是出于实际需要——可能是因为审批流程长达数周,获批的工具不适应业务需求,或是免费服务触手可及。

发现影子AI时,审计人员要做的工作有三项:

  1. 借助独立证据确认规模。 通过访问记录与支付记录确认使用频次、使用部门及使用周期。
  2. 评估风险严重程度。 即使使用频次相同,流出的数据类型不同,风险也会截然不同。应抽样核实上传的文件类型或输入内容中是否包含客户信息。
  3. 查找原因。 查明是审批流程未能跟上业务需求、缺乏经批准的替代工具,还是员工对相关政策不知情。只有查明原因,所提出的建议才能减少规避合规行为的发生。

相反,将使用者名单移交用于纪律处分、审计团队代为审批工具,或是以“未经批准故不在审计范围内”为由将其排除,都是错误的做法。前两者属于管理层的职责,而后者则是将最大的风险从审计范围中抹除。

基于风险的范围确定

审计资源应按风险成比例分配。NIST AI RMF要求建立程序,根据组织的风险承受水平确定所需风险管理活动的级别(GOVERN 1.3),并针对识别出的每项影响确定可能性和程度并形成文档(MAP 5.1)。国际内部审计师协会(IIA)准则也要求,在理解审计对象活动的战略目标与风险、组织的风险承受水平以及适用的基准后,识别重大风险并确定其优先级(IIA 13.2)。

对AI系统进行风险排序时可参考的信号如下:

信号 提高风险的示例
结果所适用的决策 如贷款、招聘、保险理赔、就诊顺序等直接影响个人权利或安全的情况
人工介入 人工几乎完全照搬所有建议,或无人工介入自动确认
变更频率 模型更换或判定基准变更频繁,但缺乏重新验证记录
数据 来源不明的外部数据、敏感信息、为其他目的收集的数据
对第三方的依赖 将开发或运营委托给外部,但合同中未规定审计权或变更通知条款
以往结果 上次审计或诊断的建议未被执行或未得到验证

即使是同一个系统,根据显著特征信号的不同,审计的重点也会有所差异。如果模型已两年未动但合同条款缺失,那么相较于变更管理,第三方管理才是重点;如果引入了新采购的数据,数据溯源则是重点。

确定审计深度

没有必要以同样的深度审查所有系统。相反,若采取均一深度,最危险的系统反而得不到充分的审查。在实务中,通常将深度划分为几个层级来编制计划。

深度 工作内容 适用对象
第 1 级:检查管理体系 确认是否存在清单登记、风险评估及审批记录 内部业务辅助、不含个人信息、结果不直接用于决策
第 2 级:关键控制测试 测试最重要的一两项控制措施(人工复核、变更审批等)的设计与执行有效性 影响中等,或用于跟踪上次审计中已确认系统的建议落实情况
第 3 级:深度审计 在控制测试的基础上,扩展至性能与偏见声明验证、数据溯源、第三方管理等 影响个人权利或安全且尚未接受过审计的系统

降低审计深度并不意味着将其从清单中剔除。维护清单与确定审计深度属于两项独立的决策。

审计基准的含义与来源

审计基准(criteria)即“应有的状态”。Yellow Book说明,基准可包括法律法规、规章、合同、标准、衡量指标、预期绩效、既定业务惯例及基准线(GAO 8.124)。IIA准则要求寻找用于评估被审计活动的最相关的基准;如果董事会和管理层制定的基准适当,则采用该基准,若不适当,则应通过协商确定适当的基准(IIA 13.4)。

因此,“因为是自愿性框架所以不能作为基准”这一说法是错误的。即便是像NIST AI RMF这样不具备法律强制约束力的框架,只要组织已经采纳或在行业内被广泛使用,就可以成为基准。但必须在计划书和报告中说明该基准适用的理由。

监管映射 ①:韩国《人工智能基本法》

韩国《人工智能基本法》包含常用于审计基准的条款。在此仅梳理审计计划所需的内容。至于某一系统是否属于法定义务对象,需要由法务部门作出判断。

  • 高影响人工智能(第2条第4款)。 指对人的生命、身体安全及基本权利产生重大影响或有可能引发危险的人工智能系统,具体指应用于以下领域的人工智能系统:能源供应、饮用水生产流程、医疗卫生服务提供、医疗器械、核能设施、犯罪侦查中的生物识别信息分析、招聘与贷款审核等对个人权利与义务关系产生重大影响的判断或评估、交通、公共服务资格确认与决定等国家机关等的决策、幼儿及中小学教育中的学生评价,以及其他由总统令规定的领域。
  • 确保透明度义务(第31条)。 若要提供利用高影响人工智能或生成式人工智能的产品与服务,必须将该事实预先告知用户;在生成式产出物上必须标注其生成事实;对于难以与现实区分的虚拟音频、图像和视频,必须采取告知或标注措施,以便用户能够明确识别。
  • 高影响人工智能的确认(第33条)。 经营者必须事先审查是否适用高影响标准,必要时可请求科学技术信息通信部长官予以确认。对审计人员而言,“是否存在事先审查记录”是首要核实事项。
  • 经营者的职责(第34条)。 提供高影响人工智能的经营者必须履行第1款各款规定的措施,即第1项建立与运营风险管理方案、第2项建立与实施解释方案、第3项建立与运营用户保护方案、第4项人工管理与监督、第5项编制并保存可确认措施落实情况的文档等。此处的经营者既包括开发并提供AI的“人工智能开发经营者”,也包括利用开发经营者提供的AI来提供产品或服务的“人工智能利用经营者”(第2条第7款)。
  • 实施令第27条。 必须公示风险管理方案与解释方案的主要内容、用户保护方案、管理与监督者的姓名及联系方式(商业秘密除外),并将措施依据以书面文档形式保存5年。如果从已全部或部分履行第34条第1款第1项至第3项措施的人工智能经营者处接收系统的利用经营者,未显著改变原有目的或用途等未进行重大功能变更,则视为其已全部或部分履行了相应措施。由于拟制履行的范围仅限于第1项至第3项,因此人工管理与监督(第4项)以及文档的编制与保存(第5项)不属于拟制对象。利用经营者可向开发经营者索取必要资料。
  • 影响评估(第35条)。 在提供利用高影响人工智能的产品或服务时,应当努力预先进行基本权利影响评估;在评估时,必须结合产品或服务的性质,确保反映人工智能弱势群体的特征。开展评估的要求是“应当努力”,而反映弱势群体特征则是“必须做到”,二者法定力度不同,因此应在基准表中分列;如果已开展评估,则应将反映弱势群体特征的记录列入审计证据调取清单。

在审计计划中,这些条款会转化为“调取何种证据”。事先审查记录、风险管理方案、公示界面、管理与监督者指定文档、5年保存体系,若为利用经营者还包括从开发经营者处获取的资料以及是否发生功能变更,这些都将列入证据调取清单。

监管映射 ②:韩国《个人信息保护法》

由于大多数AI系统都会处理个人信息,因此韩国《个人信息保护法》也经常作为审计基准。在审计计划中常引用的条款有以下两项:

  • 业务委托(第26条)。 委托处理个人信息业务时,必须签订包含禁止超出委托目的处理、技术与管理保护措施等内容的书面文件;必须公开委托业务内容及受托人,以便信息主体能够轻松查询;并且必须对受托人进行培训,并通过检查处理现状等方式实施监督。受托人不得超出受托范围使用个人信息。如果将AI服务外包,则委托协议文本、公开信息、监督记录均应列入审计证据调取清单。
  • 自动化决策(第37条之2)。 完全通过自动化系统处理个人信息而作出的决策(依据《行政基本法》第20条由行政机关作出的自动处分除外)若对信息主体的权利或义务产生重大影响,信息主体有权拒绝该决定(法律规定的例外情形除外)。除此之外,在个人信息处理者作出自动化决策的情况下,信息主体有权要求对其决策进行解释说明等。个人信息处理者必须公开自动化决策的标准与程序,以及个人信息的处理方式,以便公众轻松查询。该条款适用于“完全自动化”的决策,因此是否存在实质性的人工介入,就成为决定是否适用该条款的关键事实。审计人员应核实人工介入是否流于形式,以及若属于适用该条款的决策,是否建立了处理拒绝与解释说明要求的程序。

框架映射 ③:NIST AI RMF、GAO框架、ISO/IEC 42001

除法律法规外,还有三种框架常作为AI审计的基准:

框架 结构 在审计中的应用方式
NIST AI RMF 1.0 包含GOVERN、MAP、MEASURE、MANAGE四大功能及下属子类别。GOVERN是贯穿渗透至其余三大功能的基础功能 将子类别转化为核查问题,排查控制薄弱环节
GAO AI问责框架(GAO-21-519SP) 包含治理、数据、性能、监控四大原则与核心实践。针对每项实践提供审计问题、程序及证据类型 用作审计方案的骨架
ISO/IEC 42001:2023 针对开发、提供、使用AI的组织,为建立、实施、维护和持续改进AI管理体系(AIMS)所设定的要求 若组织将获得认证作为目标,则可作为审计基准之一

在参考ISO/IEC 42001时,请务必牢记一点:ISO只制定标准而不开展认证,认证由外部认证机构进行。内部审计的结论仅在所审计的范围与基准内具有意义,绝不能替代外部认证。

确认与咨询,以及客观性

内部审计的业务主要分为两类:确认(assurance)业务旨在对控制措施是否有效提供独立结论;咨询(advisory)业务则是向管理层提供建议以帮助其设计或改进控制措施。二者的区分依据是目的而非时间点。协助管理层设计控制措施的意见征询属于咨询业务;对照基准评估控制措施是否恰当或是否有效运行并寻求独立结论的征询,则按确认业务执行。上线前设计阶段的意见征询通常属于咨询,而对运行过一段时间的控制措施是否有效运作的意见征询则属于确认。

IIA准则为了保持客观性提出了若干要求(IIA 2.2)。内部审计人员不得评估其先前负责的活动;若对过去12个月内曾负责的活动开展确认业务,则推定其客观性受损。若要对先前提供过咨询的领域开展确认业务,首席审计执行官必须确认咨询业务的性质不会损害客观性后方可分派人员。对于首席审计执行官本人所负责职能的确认业务,必须由内部审计机构之外的独立方进行监督。如果首席审计执行官暂时承担了审计以外的职责,则在任职期间及随后的12个月内,该领域的确认业务必须由独立的第三方提供,且首席审计执行官必须制定将该职责移交给管理层的计划(IIA 7.1)。

利用专家与以往结果

AI审计往往需要审计团队所不具备的专业能力。医学影像判读的准确性或信用评估模型的统计有效性,审计人员很难独立做出判断。Yellow Book指出,必要时可以引入专家,但必须评估其胜任能力与资质,以及偏见、利益冲突和外部影响对其判断可能产生的影响(GAO 4.12–4.14);同时要求对专家工作的目的与范围、预期用途、程序与结果、假设与方法形成文档记录(GAO 8.32)。NIST AI RMF也要求未参与系统一线开发的内部专家或独立评估人员参与定期评估(MEASURE 1.3)。直接推动引入该系统的人员,无论多么专业,都不能担任独立的评估人员。

以往的结果也是制定计划的素材。Yellow Book要求向管理层确认与审计目标相关的以往审计或研究,以及相关建议的落实情况,并将其用于风险评估和确定审计程序的范围(GAO 8.30)。“已落实”的答复仅仅是一个起点,建议是否真正得到落实必须通过测试加以验证。

深入阅读

是否将内置AI纳入清单

随着各类办公软件纷纷接入AI功能,“将所有AI纳入清单”的原则很快就会变得难以承受。如果把文档编辑器的拼写建议、邮件的回复推荐、视频会议的自动字幕全都加进去,清单就会膨胀至数百行,真正重要的系统反而会被淹没。反之,如果将内置功能全盘剔除,又会遗漏诸如汇总客户咨询记录并发送至外部服务器的CRM功能这类实质性风险。

NIST AI 600-1指出内置生成式AI的清单豁免“由组织政策规定”,其用意正是将这种张力转化为明确的政策决策。审计人员比起质疑豁免本身,更关注豁免的标准。良好的豁免标准通常以“流出何种数据”以及“输出结果是否用于决策”来划定界限。例如可以规定:“对于不向公司外部传输数据、且结果不直接用于人工判断的内置功能,按产品单元而非功能单元进行记录”。审计人员应核实该标准是否得到一贯执行,以及标准确立后新开启的功能是否经过了审查。

审计标准与法律判断的边界

韩国《人工智能基本法》施行不久,诸多细节交由总统令、告示和指南规定。因此,“该系统是否属于高影响”可能会因事实情况和解释的不同而有所差异。若审计人员对此问题做出法律层面的定性结论,就会产生两种风险:结论出现错误的风险,以及审计人员越俎代庖代行管理层应有判断的风险。

因此,在实务中需要转变提问方式。不再问“是否属于高影响?”,而是问“公司是否事先审查了是否适用高影响?该审查是否形成了书面文件?审查的依据是什么,由谁批准?”。鉴于事前审查本身即为法律规定的程序(第33条第1款),审计人员可以通过事实核查来确认这一问题的答案。若对审查结果存疑,则应报告该疑虑及其依据,并建议开展法务审查。

咨询后的确信:同一团队介入两次时

由于许多组织的AI治理体系尚处于初创阶段,管理层往往会请求内部审计部门“协助把关设计”。此类请求无需拒绝。咨询业务属于内部审计的正当业务范畴,且对在上线前降低风险大有裨益。问题在于一年后对同一控制进行确信时。

提供咨询时必须恪守的底线是“提供意见,但决策与运营归管理层”。若审计人员代写规程、亲自设计审批界面,甚至承担起运营人员的角色,那便不再是咨询,而是代行了管理层的职责,日后的确信工作也会沦为自我评价。相反,如果各项控制是由管理层决策并运营的,即便由曾提供咨询的团队开展确信,审计负责人也可以通过确认客观性并调配人员来进行管理。咨询阶段留存的意见书和管理层的决策记录,日后将成为证明客观性的证据。

工作场景

松川建设:各施工现场不同的AI清单

综合建设公司“松川建设”(员工3,400人,施工现场46处)的内部审计团队首次将“AI使用管理”审计纳入年度计划。IT团队提供的清单中包含5个已获批准的工具,且全部由总公司签约引入。

审计团队首先了解了该企业的工作方式。超过半数的员工在现场办公室工作,而现场办公室单独使用电信运营商线路,并不经过总公司的代理服务器。现场运营经费可由现场负责人全权决裁使用公司法人卡。一名审计团队成员提出先提取总公司代理服务器记录,但团队主管指出该记录几乎无法反映现场的使用情况。最终决定总公司记录仅用于总公司自身。

针对现场,审计人员在公司法人卡的结算明细中排查AI服务结算记录。由于部分款项显示的是支付代理机构名称,仅凭特约商户名称并不充分,因此结合了金额特征与发票收据一并查验。排查结果显示,11处施工现场使用了7种付费AI服务。其中2种服务是通过上传工序照片来识别违规安全行为,而照片中包含了合作单位工人的面部信息。审计团队将这2种服务列为风险评估的首要对象。

此外还存在另一条途径。公司使用的工程管理SaaS在上一季度的更新中,默认开启了“自动汇总每日施工日报”功能。既无结算款项也无新增访问连接,因此在银行卡和代理服务器上均未留下任何痕迹。审计团队通过查看SaaS管理员后台及供应商公告发现了该功能,并单独记录了公司政策中缺乏关于内置功能标准的问题。

审计团队并未整理未获批准服务的用户名单,而是访谈了5位现场负责人,询问未履行审批程序的原因。得到的回答如出一辙:审批申请表以总公司IT为基准设计,现场根本不知道该填写什么,且处理审批需要耗时两个月。发现问题的根因被归纳为“审批程序脱离现场实际”。结合清单补充结果(由5个增至13个),审计团队建议制定关于内置功能的政策标准,并建立适用于现场的简易审批流程。

旭日信用社:1,000小时该用在何处

信用合作社“旭日信用社”的审计室今年可投入1,000小时用于AI审计。补充完毕的清单中包含6个AI系统:个人信用贷款审核辅助模型、逾期会员咨询优先级模型、客户咨询聊天机器人、内部规章检索助手、会议纪要汇总工具,以及今年引入的异常交易监测服务。

审计室按系统将影响程度、发生可能性及以往核实情况整理成表格。贷款审核辅助模型会影响社员能否获得贷款,去年曾接受深入审计并提出了3项建议。异常交易监测服务由外部机构运营且具备拦截支付的权限,但此前从未进行过审计,合同审查也尚未完成。逾期咨询优先级模型仅决定咨询顺序,最终决定由坐席人员做出。

审计室主任最初收到了一份将工时平分给6个系统的方案。理由是“公平”,但这样分配给异常交易监测服务的时间仅有170小时左右,根本无法涵盖合同、运营以及误报造成的损失。也有意见提出再次对去年审计过的贷款模型投入大量时间,理由是可以复用底稿从而提高效率,但效率并非基于风险分配资源的依据。

最终计划确定如下:向异常交易监测服务分配450小时(三级深入审计:合同与受托管理、因误报导致支付受阻的会员救济程序、第三方机构报告审查);向贷款审核模型分配250小时(二级:对去年3项建议的落实情况进行测试);向聊天机器人和逾期咨询模型各分配100小时(二级:各测试一项核心控制);向规章检索与会议纪要汇总各分配50小时(一级:确认管理体系)。针对异常交易监测,决定引入外部数据科学专家参与,并在确认该专家与第三方机构不存在利益冲突后,以书面形式明确工作范围和方法。计划书中还记录了被否决的方案(均等分配、优先选择熟悉的系统)及其理由。

易错点

  1. “只有经批准的工具才属于审计范围。” 未经批准的使用可能正是最大的风险所在。查明清单之外的使用并将其纳入范围,是审计的首要工作。
  2. “既然拿到了部门负责人的确认书,清单就是完整的。” 自我报告会遗漏不知情的事项和隐瞒的事项。完整性应通过留有使用痕迹的独立记录来核实。
  3. “仅凭代理记录就能掌握一切。” 不通过公司网络的使用,以及现有服务中内置的功能,在代理日志中是看不到的。数据来源应根据使用途径来选择。
  4. “一旦发现影子 AI,就应移交以惩戒使用者。” 惩戒和工具批准属于管理层的工作。审计的职责是查明规模、风险和原因。
  5. “为了公平,对所有系统应以相同深度进行审查。” 如果风险不同却采用相同的审计深度,风险最高的系统就无法得到充分应对。
  6. “自愿性框架不能作为审计标准。” 标准中也包括国际与行业标准、行业惯例和组织内部指引。关键在于说明其为何适用。
  7. “内部审计没有发现问题,因此可以注明符合 ISO/IEC 42001。” 认证由认证机构实施。内部审计的结论只能在所审计的范围与标准之内进行表述。
  8. “主导引入该系统的教授是顶尖专家,因此交由其负责验证。” 评价专家时,必须同时评估其胜任能力与客观性。如果存在利益冲突,应当任用独立的专家。

要点速览

主题 核心要点
审计的角色 进行评估并提出建议。批准、运营与惩戒属于管理层职责(GAO 3.78,3.81)
AI 的边界 从法律定义(第2条第1、2、5项)出发,内置功能的例外情况应写入政策(AI 600-1 GV-1.6-002)
清单字段 由问题反向推导确定。数据、基础模型与版本、使用方式、监督责任人、供应商(GV-1.6-003)
清单的完整性 自我报告只是起点。通过各使用途径的独立记录(代理、SSO、信用卡/报销费用、管理员配置)进行核实
影子 AI 查明规模、风险(泄露了何种数据)及原因(批准流程)
基于风险的范围 综合考量影响、可能性及过往确认情况。显著的风险信号决定审计重心
审计深度 管理体系核查 → 核心控制测试 → 深度审计。与清单维护各自独立
审计标准 法律法规、标准、指引、惯例。若管理层所用标准恰当,则采用该标准(IIA 13.4)
《人工智能基本法》 事前审查(第33条)、职责(第34条)、公示/保存5年/视为使用主体(实施令第27条)
客观性 不评估在过去12个月内曾承担管理责任的活动。审计负责人负责的职能由外部独立监督,临时负责的职能则在该期间及随后的12个月内由第三方提供鉴证(IIA 2.2,7.1)

查阅官方文档

自测

1-1. 解释在确定 AI 清单字段时“由问题反向推导确定”的含义,并列举评估个人信息风险所需的两个字段。

1-2. 某公司居家办公比例达 70%,试图仅凭 Web 代理记录来核实 AI 清单的完整性。请说明该方法的局限性,并写出两个可用于补充的数据来源。

1-3. 请写出审计人员在发现影子 AI 使用后应查明的三项内容,并写出一项审计人员不应做的事及其原因。

1-4. 请以外部开发商运营的模型为例,解释基于风险确定范围时“显著的风险信号决定审计重心”这一原则。

1-5. 请对照《黄皮书》(Yellow Book)和 IIA 准则,回答像 NIST AI RMF 这样非法律强制性的框架是否可以作为审计标准;若采用,应在报告中载明哪些内容。

1-6. 请从韩国《人工智能基本法实施令》第27条中,写出三项审计人员可将其转化为取证需求清单的内容。

1-7. (设计题)在某组织中,审计负责人曾担任 AI 政策委员会干事长达 1 年,董事会现要求对该委员会的运作提供鉴证。请根据 IIA 准则,用三行文字设计该审计业务的组织构架。

实操练习

练习

利用独立来源补充完善 AI 清单(45分钟)

  1. 用五行写出你所在组织(或虚构组织)的工作方式。包括:居家办公比例、报销与支付政策、网络访问拦截策略、主要 SaaS、API 使用情况。
  2. 参考本章的“使用途径”表,挑选三个极易遗漏的途径,并确定各自对应的独立来源。
  3. 针对每个数据来源,分别写明“提取什么(字段)”、“向谁调取”以及“该来源无法覆盖什么”。
  4. 从本章的字段表中挑选五个要补充到清单中的字段,新增为表格列。

完成标准: 三个数据来源均已写明所需提取的字段与局限性,且对新增的五个字段分别用一行说明其各自解答了何种疑问。

练习

确定风险优先级与审计深度(45分钟)

  1. 从补充完善后的清单中选取五个 AI 系统(亦可为虚构系统)。
  2. 针对每个系统,分别用一行写明:输出结果所应用的决策、人工介入程度、变更频率、数据、第三方依赖以及过往结果。
  3. 将影响程度和可能性评定为高、中、低,并确定审计深度(1~3阶段)与分配的工时。
  4. 写出一个被舍弃的分配方案及其舍弃理由。

完成标准: 全部五个系统均已确定审计深度和工时;对审查深度最深的系统,其入选依据已通过风险信号进行合理解释;写明了舍弃备选方案的理由。