第 5 章 机构引入与运行管理

学习目标

• 将机构引入 AI 的目的定义为待解决的问题，并选择符合该目的的绩效指标。
• 将 UNESCO 的生成式 AI 教育指南与教师 AI 能力框架的核心要点落实到引入计划中。
• 按照依据环环相扣的顺序，规划服务选型、签约、教师研修、试点运行与全面推广。
• 依据 NIST AI RMF 的四大功能划分学校的 AI 运行业务，并制定检查项目与检查周期。
• 对 AI 服务安全事件进行分类，并针对不同类型选择恰当的初始应对方案。

引言

某教育支援厅宣布“全面引入 AI 导师”仅过了一个学期，就收到了两份报告。一份是访问量达到目标两倍的成效报告，另一份则是未发现学力差距缩小的审计意见。两份报告所言皆属实。学生们虽然频繁使用 AI 导师，但从一开始就没有设定用于验证其引入目的——“恢复基础学力”的衡量指标。

机构引入 AI 与单名教师在课堂上运用 AI，在规模上截然不同。这涉及成百上千名学生数据的流动、预算投入与合同签署，一旦出现问题，会对众多学生同时产生影响。因此，在引入之前，必须明确引入的目的、如何验证成效、由谁来检查什么内容，以及发生安全事件时首先应当做什么。

本章从引入目的与绩效指标切入，继而探讨 UNESCO 的指南与教师能力框架、服务选型与分步引入，以及教师研修和与监护人的沟通。最后，总结如何将 NIST AI RMF 落地到学校运营中，并明确检查项目、检查周期及不同事件类型的初始应对方案。

核心概念

引入始于问题定义

“引入 AI”本身并不是目的。真正的目的是通过 AI 想要解决的问题。必须先明确具体问题——例如教师的主观题批改负担过重、未达基础学力的学生缺乏个别练习机会、发往多元文化家庭的通知书翻译不及时等，而 AI 只是解决这些问题的诸多方法之一。

定义问题时，需要写明以下三点：

1. 是谁的什么问题：是教师的业务工作、学生的学习，还是与监护人的沟通？
2. 目前如何处理，存在哪些不足：用具体数据呈现当前方式及其局限性
3. 发生怎样的改变才算成功：这便是绩效指标

有时，非 AI 的方案反而更为有效。如果问题不在于人手不足，而在于评分量表含糊不清，那么完善评分量表要先于引入 AI 批改工具。

符合目的的绩效指标

绩效指标源自目的。即便同样是 AI 导师，根据目的不同，需要关注的指标也各异。

访问次数、对话轮数、满意度属于参考指标。使用频繁并不意味着学力得以恢复，感到满意也不代表业务负担切实减轻。而且，每学期末仅进行一次的满意度调查，根本无法用于及早发现运行中的错误。

UNESCO 生成式 AI 教育与研究指南

UNESCO 于 2023 年 9 月发布了《教育与研究中的生成式 AI 指南》。UNESCO 官方指引页面及新闻公告指出的核心要点如下：

• 大多数国家缺乏有关生成式 AI 的国家法规，教育机构普遍尚未做好验证工具的准备。
• 强制要求保护数据隐私，并对与生成式 AI 平台的独立对话设定年龄门槛。公告指出，课堂使用 AI 工具的年龄门槛应设定为 13 岁，并要求开展教师研修。
• 在伦理审查与教学设计中采取以人为本且适龄的方法。
• 正如第 4 章所述，在发布当时接受调查的中小学校和大学中，制定了生成式 AI 机构政策或官方指南的比例不足 10%。这意味着在尚未建立机构层面标准的情况下，工具就已经先一步进校了。

落实到学校运营中，即意味着：即使厂商宣传其产品为“教育专用”，学校也必须自行验证；数据条款与年龄标准必须在签约前确认完毕；而教师研修是引入的前提条件，绝非使用率低迷时的补救措施。

UNESCO 教师 AI 能力框架

UNESCO 于 2024 年发布了《教师 AI 能力框架》。该框架提出了涵盖五个维度的 15 项能力。

这些能力划分为掌握（Acquire）、深化（Deepen）和创造（Create）三个进阶阶段。在设计研修时，与其对所有教师一刀切地提供相同内容，不如结合教师当前阶段划分为掌握课程和深化课程，这样会更为有效。本书第 1～4 章的内容，便可视作将该框架中的“AI 教学法”与“AI 伦理”维度转化为学校一线的决策实践。

服务选型与签约

在对比候选服务时，在考量功能和价格之前，应先确认第 3 章提及的五个问题（是否用于模型训练、保存期限、账号类型、处理关系与存放位置、年龄限制）。若数据在境外处理或存储，还需在签约前确定如何满足韩国《个人信息保护法》第 28 条之 8 的要求（单独同意、公开处理方针等）。此外，是否面向包括残疾学生在内的所有学生可用（如屏幕阅读器、字幕等无障碍支持），也应列入选型标准。如果是由学生使用个人账号注册的消费级应用，学校很难管控数据条款，还会将合规判断的责任推给学生和监护人；而以学校为单位签约的服务，则可以在书面材料中核实条款，并在委托合同中予以明确。

教育厅等国家机关如需使用高影响人工智能产品或服务，根据韩国《人工智能基本法》第 35 条第 2 款，应当优先考虑已进行影响评估的产品或服务。若采购用于学生评估的 AI，应将这一点纳入评估标准中。

通过偏好度调查来选择服务看似民主，但其结果并非建立在对数据条款的严格把关之上。监护人说明会应当定位为在核实相关条款后，公布结果并接受咨询的场合。

分步引入

机构引入应当按照依据环环相扣的顺序推进。

1. 确定目的与指标：引入的目的是什么、以什么衡量成功、哪些用途不得交由 AI 处理
2. 确认条款与签约：对照目的确认数据条款和年龄政策，签订委托合同，并告知监护人
3. 研修与试点运行：做好教师培训准备，并在两三个班级或课程中开展试点运行
4. 评估与推广决策：依据预先设定的指标评估试点结果，决定是否全面推广
5. 运行与检查：推广之后，持续开展定期检查并执行安全事件应对流程

若不经试点直接全面引入，一旦出现问题，一开始受波及的学生就会多达数百人；而若未设指标便盲目试点，即便试点结束，也缺乏判断是否推广的依据。

教师研修与支持

研修仅讲授工具的使用方法是远远不够的。本书的各章均可作为研修的主题。

除了研修之外，支持保障体系也必不可少。必须具备获批工具清单与使用指南、负责接收的人员、共享教师审查资料的资料库以及安全事件申报途径，才能减少教师独自决断而导致失误的情况。

告知监护人与学生

监护人通常会询问三个问题：“孩子的对话会用于何处？”、“会保存多久？”、“如果不同意会怎样？”。在签约前应确认这些问题的答案；若是需要取得同意的处理事项，应包含第 3 章所述的四项告知事项以征得同意，并为不同意参与的学生准备替代活动。替代活动最好是能够达成相同学习目标且不会过多增加教师额外负担的形式，例如纸质活动单或同伴互助活动。对于学生，则应使用通俗易懂且符合其年龄段的语言告知相同内容。

有时会有人提议让班主任实时查看学生的对话，并将其用作咨询辅导资料。这看似出于安全考量的善意之举，但实则超出了学习支持的目的，演变成了监视，导致学生不再信任和使用 AI 导师。如果担心安全问题，恰当的做法是另行设计特定风险信号（如自残、遭受霸凌的求助等）的人工转介功能与处理流程。

将 NIST AI RMF 落地到学校

NIST 人工智能风险管理框架（AI RMF）的核心（Core）由四大功能构成。

简而言之，“治理”就是规定由谁来决策、由谁来检查以及如何将检查结果再次反馈落实的机制体系。它绝不是在引入初期制定一次就完事的步骤。正如 NIST 将其解释为交叉功能一样，委员会和规章制度应当在整个运行过程中始终引领情境识别、测度与管理，并根据结果反馈不断优化调整。

NIST 提出的可信 AI 七大特征（有效性与可靠性、安全、安全保障与韧性、问责责任与透明度、可解释性与可解读性、增强隐私保护、管理有害偏差的公平性），可用作制定检查项目时的核对清单，以确保无所遗漏。

检查项目与周期

检查周期应根据风险的大小与变化的快慢来确定。核心在于：除常规周期外，在发生变动的节点必须进行检查。

表中的周期仅为示例。各学校应结合自身规模与风险自行确定，但必须能够阐明设定该周期的依据。

管理知识资料的导师

许多学习导师会从学校输入的资料（教材、讲义、通知书）中检索相关内容，并以此为据进行回答。这也就是通常所说的检索增强生成（RAG）方式。这类导师的质量完全取决于知识资料本身。

• 纳入的资料：面向所有用户公开亦无妨的准确官方资料。如果在面向所有人公开的导师中纳入评分量表、标准答案、内部会议纪要、未经去标识化处理的学生提问记录，这些内容就很可能会直接通过导师泄露出去。
• 回答方式：仅依据所提供的资料作答，要求引用依据语句；若资料中未包含，则回复“资料中未提及”，并指引向教师或讲师咨询的途径。这正是应用了 Anthropic 提出的减少幻觉的方法：限制外部知识、直接引用以及允许模型承认不知道。
• 安全保障：进行相关设置，使模型将知识资料和学生输入作为参考数据而非执行指令来处理，并拒绝套取导师系统默认指令或未公开资料的请求。同时审查上传文档中是否夹杂隐藏指令（OWASP 针对提示词注入的缓解策略）。
• 更新维护：当教材或考试范围发生变动时，梳理出变更内容清单，修改知识资料并剔除陈旧资料；使用变动单元的问题进行测试后再正式应用，并在应用后立即进行集中排查。

安全事件类型与初始应对

AI 服务发生安全事件时，根据类型不同，初始应对措施也有所区别。

请注意避免两类失误。其一是应对不足。如果只是通知厂商并等待其原因分析报告，在此期间泄露或损害仍会持续发生。将学生个人信息托付出去的是学校，学校作为委托方必须亲自积极应对。其二是过度应对。若仅因一个原因明确且完全可修复的错误，就将全校各年级的 AI 使用全面叫停至下一学年，不仅无法切实帮扶到受影响的学生，还会彻底丧失引入 AI 的实际价值。

深入阅读

效果衡量的陷阱

确认引入 AI 效果的最简单方法是进行引入前后的对比。但前后对比中存在陷阱。如果在同一时期内课程发生变动、教师发生更换，或者学生构成出现差异，便无法确定这种差异是否由 AI 引起。若条件允许，应同时观察试点班级与对比班级，并使用基于相同学业成就标准的题目进行测量，这样的对比才有意义。

平均分也需要警惕。若目标是提升基础学力，却只看整体平均分，就无法区分究竟是原本成绩优秀的学生频繁使用 AI 导师拉高了平均分，还是目标群体确实取得了进步。单独观察目标群体并非可有可无的选项，而是必不可少的环节。此外，“没有效果”这一结果同样具有重要价值。决定不予推广，也是试点运行所能带来的有益结论。

消费级应用备受青睐的原因与代价

直接将学生已在使用的热门消费级应用引入课堂，不仅无需花费额外费用，学生也非常熟悉。这种便利性确实是一大优势。然而，这也伴随着代价：学校无法自行决定数据使用条款；条款发生变更时学校难以察觉；不同学生的设置各异导致同一堂课上适用的条件并不一致；学校也难以逐一核实年龄标准与监护人许可。

“通过致家长信指导如何开启个人信息保护设置”这种应对措施，实则是将责任推给了学生和监护人。一旦学校建议在课堂上使用，该服务就成了学校的办学决策。如果没有签订合同的预算，替代方案是缩小使用范围，采取不录入学生信息的方式（如教师演示、使用通用化的问题等）。

治理不是一纸公文，而是循环迭代

许多机构认为制定完 AI 运行规范后，治理工作就大功告成了。然而，规范仅仅是起点。治理真正发挥作用，意味着检查结果能够切实推动规范与运行机制的改进。例如，事故发生后应修订操作指南；抽检中发现群体差异后，应更新知识库资料或调整应用范围；在条款变更后，应及时更新向监护人发送的通知说明。

为此，运行委员会在定期会议上应确认三件事：上一周期的检查结果、据此作出的改进、尚未调整的事项及其原因。这些记录的不断积累，将为下一年度的引入决策和预算评估提供重要依据。

工作场景

月溪市教育支援厅：英语口语 AI 导师引入计划

月溪市教育支援厅听取了教师们关于初中英语口语练习机会不足的意见，开始论证引入英语口语 AI 导师。预算负责人提出：“直接在全市初中全面推广，发挥规模经济效应。”督学则主张：“通过家长偏好度调查来筛选服务产品。”

推进工作组并未采纳这两项提议，而是首先对问题进行了定义：“初二年级学生每堂课人均英语口语练习时间不足 2 分钟。目标是在一个学期内增加人均每周口语练习时间，并提升口语表现性评价中薄弱群体的学业成就。”核心指标确定为人均每周练习时间，以及在相同标准的口语任务中后 30% 群体的变化情况。访问次数和满意度则仅作为参考指标。

工作组首先对比了三款备选服务的数据使用条款。其中一家默认将学生语音用于模型改进，且未明确保管期限，因而被排除。在其余两家中，工作组选择了在合同中明确写明“不用于模型训练”并在“学期末删除数据”的一家，与其签订了委托合同，并依据韩国《个人信息保护法》第26条第2款公开了受托人与受托业务内容。尽管大部分学生已年满 14 周岁，但由于该服务的服务条款要求未满 18 周岁者需获得监护人许可，因此工作组在随附数据条款说明的同时取得了监护人同意，并为不同意的学生提供了与教师结对进行口语练习的替代方案。

工作组根据 UNESCO 教师能力框架的 AI 教学法维度设计了英语教师培训，并在 4 所学校的 8 个班级开展了一个学期的试点运行。试点结果显示，练习时间大幅增加，但薄弱群体的学业成就变化幅度小于优秀群体。工作组并未立即全面推广，而是以增设面向薄弱群体的教师指导时间为附加条件，重新制定了下一学期的推广计划。

素雅高中：一周内接连发生的三起事故

素雅高中的学习导师运行委员会在某一周接到了三起报告。第一起，一名学生向 AI 导师询问自己的成绩时，系统同时显示了同班另外两名学生的姓名和分数。第二起，在抽样检查中发现了两起对话，面对学生所说的“最近太累了，什么都不想做”，AI 导师仅仅给出了学习计划表。第三起，出现了多起 AI 导师错误解释地球科学单元某一概念的对话，排查原因后发现是上传的讲义资料本身存在错误。

委员会并未对这三起事件采取一刀切的处理方式。针对第一起事件，由于涉及个人信息泄露，校方立即停用了成绩查询功能，由个人信息保护负责人与服务商共同核查泄露范围，并履行了依据韩国《个人信息保护法》第34条评估是否需要通知与申报的程序。尽管服务商初步报告称系配置错误，但学校作为委托方进行了直接应对，并在事态平息后要求服务商提交书面的原因分析与防止再次发生对策，同时对处理进展进行了检查监督（依据韩国《个人信息保护法》第26条第4款实施监督）。

针对第二起事件，校方将学生支持置于首位。通过对话记录查找到相关学生后，班主任和心理咨询教师直接与学生取得了联系；在系统增加“识别到情绪困扰诉求时提供咨询引导并通知负责教师”的功能之前，学校暂停了自由对话功能。针对第三起事件，校方修正了讲义资料，并通过 20 个同类型问题重新进行了测试，确认修复无误后，向可能听到错误解释的学生发送了更正说明。

一名委员提议“既然连续发生三起事故，应在学年末前全面停用 AI 导师”，但委员会并未采纳。因为存在问题的特定功能已被暂停，原因明确的错误也已修复，全面叫停对于帮助受影响的学生并无助益。在次月的会议上，委员会记录了因这三起事故而作出的改进措施（成绩查询权限设置、危险信号转达功能、资料上传前审核机制）。

易错点

1. “用得多就是成功。” 使用量是显眼的数据，看似是一项成果，但并不能体现引入目的的达成情况。
2. “满意度达 4 分以上就扩大推广。” 表面上看是尊重意见，但满意度并不等同于学习成效或减负成果。
3. “宣传说是教育专用，就是经过验证的工具。” 服务商的宣传看起来令人信服，但 UNESCO 指出教育机构应当自行验证工具，而现实中准备往往并不充分。
4. “教师培训等使用率低的时候再开展。” 看似节省了成本，但培训是安全运行的前提，UNESCO 也对教师培训提出了要求。
5. “既然是优质服务，就应立即全面引入。” 虽指望能迅速见效，但若未经试点就扩大规模，一旦出现问题，受波及的学生从一开始就会很多。
6. “治理就是在起初制定好规章便大功告成。” 虽有章可循看似万事俱备，但 NIST 将“治理（Govern）”定义为贯穿其他各项功能的交叉功能。
7. “发生事故后等待服务商的报告。” 委托给知晓原因的一方看似合情合理，但学校作为委托方，必须亲自执行阻止泄露与损害扩散的首要应对措施。
8. “只要出现一处错误就全盘叫停。” 看似严谨审慎，但面对原因明确的错误，修正根源、重新测试并向受影响学生发送通知才是恰当的应对方案。

要点速览

查阅官方文档

• UNESCO — Guidance for generative AI in education and research — 请阅读关于该指南核心建议及机构验证准备情况的说明。
• UNESCO — Governments must quickly regulate Generative AI in schools — 请查阅关于 13 岁年龄标准、教师培训以及机构政策调查结果的内容。
• UNESCO — AI competency framework for teachers — 请查阅 5 个维度、15 项能力及 3 个发展阶段的详细内容。
• NIST AI RMF — Core — 请阅读 Govern、Map、Measure、Manage 的定义及其交叉功能说明。
• NIST AI RMF — Characteristics of trustworthy AI — 用于排查检查项目疏漏的 7 大特征。
• 韩国国家法令信息中心 — 韩国《人工智能基本法》第35条 — 规定了影响评估的努力义务及国家机构等优先考虑条款。
• 韩国国家法令信息中心 — 韩国《个人信息保护法》第34条 — 请查阅关于泄露等情况的通知与申报，以及防止损害扩散义务的规定。
• Anthropic — Reduce hallucinations — 在设计基于知识资料的辅导系统的回答方式时可供参考。

自测

5-1. 写出将引入AI的目的定义为问题时应记录的三项内容，并举出一个采用非AI方法效果更好的例子。

5-2. 分别用一句话说明使用量和满意度难以成为核心绩效指标的原因。

5-3. 写出在UNESCO《教育与研究领域生成式人工智能指南》发布的内容中，可以直接应用到学校运营的三项内容。

5-4. 写出UNESCO教师AI能力框架的五个维度与三个层级，并说明如何将这一层级划分应用于培训设计。

5-5. 写出NIST AI RMF的四项功能，说明其中贯穿其他功能的交叉功能是什么，并阐释其对运营的意义。

5-6. 列举在设定检查周期时，除定期检查之外必须进行检查的三个变化节点。

5-7. 将AI服务事故分为三类，并针对每类事故各写出一行初步应对措施。同时各举出一个应对不足与过度反应的例子。

5-8. （设计任务）选择一个所在机构正在探讨或能够构想的AI引入方案，在一页以内写明问题定义、两项核心指标、试运行范围以及扩大推广的判定标准。

实操练习