第 4 章 负责任的使用与数据

学习目标

• 说明主要AI公司使用政策的共同禁止类别，以及高风险领域的人工审核和告知要求。
• 区分个人版与企业版套餐在训练使用、保留、人工审阅、管理员访问方面的差异，说明管理员控制的作用。
• 判断能否向AI输入敏感信息；如需输入，应降低可识别性并尽量减少。
• 识别资料中隐藏指令的风险，按每条主张核查来源，验证AI生成内容。
• 将著作权、偏见和AI使用告知纳入对外公开前的检查。

引言

物流公司企划部的文专员，周五下午急着准备客户说明会资料。因为嫌登录公司批准的AI工具麻烦，他把含有客户合同条件和负责人联系方式的表格，粘贴进手机上的个人AI应用。结果非常好，演示也顺利结束。但在次周的安全培训中，这一案例却被列为“不该做的事”。文专员觉得委屈，因为成果没有任何问题。

文专员做错的，并不是使用AI这件事，而是没有先判断，要把哪些资料放入什么样的环境，以及放入多少内容。他没有确认个人应用的数据设置，是否能提供与公司合同相同程度的保护；没有检查资料中是否包含完成任务并不需要的个人信息；也没有问过，在那个环境中的对话可能会被谁看到。事故并不在最终成果上，而是在他粘贴资料的那一刻，就已经发生了。

本章要讨论的，就是如何作出这样的判断。首先查看各家AI公司的使用政策共同禁止哪些行为，以及在高风险领域使用AI需满足哪些条件，再把数据怎样保存和使用的问题，拆成五个独立维度来考察。随后依次讨论是否输入敏感信息的判断、个人信息的可识别性、资料中隐藏的指令、来源确认与事实核查，以及著作权和偏见。本章对应AI运用能力中的尽责（Diligence）能力。

核心概念

使用政策中的共同禁止类别

使用政策是AI公司规定不得用其服务从事哪些活动的规则。OpenAI、Anthropic和Google的表述不同，禁止范围的基本框架却相似。

这些政策并非同一份文件。类别名称、例外和附加条件因公司而异，必须亲自阅读所用服务的政策原文。OpenAI也说明，其规则不代替法律要求、职业义务和伦理责任。政策允许，不代表法律或公司规定允许。使用政策、法律、内部规定，是需要分别检查的三道关卡。

高风险领域：有实质意义的人工审核与告知

工作中最常遇到的是高风险决定。并列三家公司的表述，就能看到共同原则。

这三家公司共同要求人工审核或监督，而Anthropic还明确写出了人员资格要求和AI使用告知要求。本书综合这些规定，建议采用两条实务原则。第一，在这些领域，AI结果只能作为判断所用的材料，决定应由具备资格的人员亲自审阅内容后作出。连结果都没有打开看，就只按下批准按钮，并不算审核。即使测试结果显示准确率很高，也不能免除这一原则。第二，应当向受到影响的人告知使用了AI这一事实。

不隐瞒AI身份

Anthropic规定，面向客户的聊天机器人必须让用户知道对话对象是AI，并非人类，并把虚假评价、声称自己是真人的机器人列为禁止案例。Google禁止出于欺骗目的，把生成内容的来源伪装为人类独立创作，或未告知就冒充真实人物。

韩国法律也规定了这一原则。《关于促进人工智能发展及建立信任基础等的基本法》（以下简称《人工智能基本法》）第31条规定，人工智能经营者提供使用高影响人工智能或生成式人工智能的产品、服务时，应事先告知用户；生成式人工智能的结果应标明由AI生成；难以与真实内容区分的虚拟音频、图片、视频，应以用户能明确知晓的方式告知或标注。同法第2条第4项将高影响人工智能定义为：可能对人的生命、人身安全和基本权利产生重大影响或风险，并用于法律列举领域（如招聘、贷款审核等判断）的人工智能系统。

这些义务虽然由提供AI产品和服务的经营者承担，但如果公司要推出面向客户的聊天机器人，或发布AI生成的内容，就应当与法务负责人确认这些条款。在那些对方如果知道使用了AI，就可能采取不同做法的情境中，不隐瞒这一事实，是最基本的出发点。

数据的五个维度

讨论数据时，最常见的混淆，是把多个不同的设置合在一起理解。实际上，至少有五个维度，是分别独立起作用的。

某一个维度安全，并不表示其他维度也安全。“不用于训练”只是对第一个维度作出的回答，对于管理员能否查看，以及数据会保留多久，并没有给出任何说明。还应单独考察对话窗口以外的流转路径。附件会留在项目里，提交反馈时可能连同整段对话一起发送，保存在记忆功能中的信息，也可能在删除对话之后仍然存在。分享链接的可见范围，同样会随产品和套餐而异。例如，ChatGPT Business的链接只能由同一个工作空间的成员打开。

个人版与企业版套餐

个人版套餐由个人注册，可免费或付费；企业版套餐由组织签约后提供给成员。2026年10月20日通过官方文档核实的主要内容如下。

Google在Gemini应用说明中直接提醒，不要输入不希望审阅人员看到的机密。

管理员控制

管理员控制是使组织的管理员能够在组织层面配置和监督AI工具的功能。这里正是选择企业版套餐的一个最主要原因。官方文档中介绍的典型控制功能如下。

管理员控制一方面是保护组织资料的措施，另一方面也意味着管理员可能查看成员的对话。认为“用了企业版，就谁也看不到”是一种误解。数据不用于训练，与管理员无法查看数据，属于两个不同的维度。

判断是否输入敏感信息

向AI输入资料前，除了信息类型，还要看目的和环境。依次问四个问题。

1. 这些信息对任务必不可少吗？ 摘要不需要电话号码，就去掉。
2. 这是公司批准的环境吗？ 确认是个人账户还是组织账户。
3. 能缩小输入范围吗？ 只输入必要列、必要时间段。
4. 合同或内部规定是否禁止？ 与客户的保密协议也适用于AI工具。

用信号灯分类能加快判断。

数据最小化是指仅输入完成任务所必需的信息。信号灯只是起点，还应在内部规则中明确，黄灯或红灯时向谁确认（个人信息保护负责人、安全负责人）。

可识别性：删除姓名还不够

韩国《个人信息保护法》第2条规定，个人信息是与在世个人有关的信息，不仅包括姓名、居民登记号码等能识别个人的信息，还包括本身不能识别，但易与其他信息结合而识别个人的信息。是否容易结合，应合理考虑取得其他信息的可能性，以及识别所需时间、成本、技术。

这一定义对实际工作的启示很明确。如果只删除姓名，却保留部门、职级、入职年份和所在地区，公司内部的人就可能轻易认出资料说的是谁。即使是在自由填写的文字里，“我上个月刚结束育儿假回到岗位”这样的句子，也可能成为识别个人的线索。

同法还单独处理几类信息：思想信念、工会或政党成员身份、政治观点、健康、性生活等敏感信息（第23条），依法为唯一识别个人而赋予的唯一识别信息（第24条），以及居民登记号码（第24条之二），原则上限制处理。输入AI前，务必与负责人商议。

假名化处理是指通过删除部分个人信息，或将其中一部分替换成其他值，使人在没有额外信息的情况下，无法识别出特定个人的处理方式（第2条第1项之二）。经过假名化处理的信息，即假名信息，在法律上仍然属于个人信息。因此，并不是做了假名化处理之后，就能任意将其输入AI。实际工作中，可以采用以下方式降低个人的可识别性。

韩国个人信息保护委员会于2025年8月发布《生成式人工智能（AI）开发与应用个人信息处理指南》，把生成式AI生命周期分为目的设定、战略制定、训练与开发、应用与管理四阶段，分别提出安全措施。公司自行开发或引入AI服务时，可以一并阅读。

文档中的隐藏指令：提示词注入基础

提示词注入是指输入的文字使模型的行为转向非预期方向的一种漏洞。安全组织OWASP在2025年版生成式AI风险清单中，将它列为首项风险，并区分了两种情况。一种是用户直接提供的输入改变模型行为，称为直接注入；另一种是网站、文件等外部资料里原有的文字改变模型行为，称为间接注入。OWASP警告说，即便人看不见那些文字，只要模型读入了它们，就可能受到影响。网页上被处理成不可见的语句，以及图片中细小的文字，对模型来说都是能够读取的输入。

对于非开发者来说，尤其重要的是间接注入。因为让AI阅读外来的邮件、网页和供应商文档的工作，正在变得越来越多。风险的大小，与AI能够执行哪些行动成正比。即使只让它做摘要，也并不能保证安全。OWASP举过这样一个案例：让模型总结一张包含隐藏指令的网页，结果模型在输出中放入了一张连接外部地址的图片，使对话内容泄露了出去。如果AI还能发送邮件或者移动文件，可能造成损害的范围就会更大。OWASP建议的应对措施中，用户和管理员需要理解的内容如下。

1. 标明外部资料边界。 标注为不可信资料，降低其影响（第2章的资料区分）。
2. 采用最小权限。 只给予完成任务必需的访问权限。
3. 高风险行动由人批准。 发送、付款、删除之前安排人工确认。
4. 报告异常结果。 摘要混入与资料无关的推荐或要求时，告知负责人。

来源确认与事实核查

在将AI生成的成果对外提供之前，必须与原文进行对照核查。下面是一套有效的操作流程。

1. 拆成单条主张。 列出成果中的事实主张、数字和引用。
2. 为每条主张要求依据。 要求来源名称及对应段落或页码。
3. 亲自打开来源。 检查来源是否真实、该段是否确实支持主张、日期和对象及条件是否相同。
4. 重新计算数字。 用原始资料重算比例和合计。
5. 找不到依据的主张删除，或标为“待核实”。

“存在来源”与“来源能支持主张”，是两回事。 引用真实文章，但内容可能是另一年份的统计，也可能是转引其他文章的二手资料。尽量追溯到原始资料（统计原表、法律原文、公司官方公告）。

还有一些行为，看起来像在验证，实际上却并没有做到验证。向同一个模型问“没错吧？”，因为句子写得流畅就相信，或者因为与别人使用AI生成的结果结论相同就相信，这些都没有提供外部依据。

著作权与标注来源是不同问题

对外使用AI生成的内容时，还应单独核查著作权问题。写上来源，并不代表已经取得使用许可；让AI重新改写过，也不代表原有表达的权利问题就已经消失。需要确认以下三个问题。

1. 是否有权使用输入资料？ 输入他人稿件或付费报告再加工，须遵循原资料的使用条件。
2. 结果是否含他人的表达？ 与特定作品或措辞过度相似时，使用前先核实。
3. 结果能否作为自己的作品受保护？ 韩国《著作权法》第2条将作品定义为“表达人的思想或感情的创作成果”。韩国广播通信委员会的政策说明也指出，AI自动生成的结果不受现行著作权法保护，只有人加入的创造性表达部分可能受保护；保护与否及范围须逐案判断。

AI公司的条款中，经常会写明把成果的权利交给用户。OpenAI也表示，在企业服务中，只要法律允许，输出的所有权归客户所有。然而，这只是AI公司与用户之间的一项约定，并不保证该成果在法律上能够受到保护，也不保证它没有侵犯他人的权利。对于标志、商标、出版物等使用时间长、投入费用大的成果，应在使用之前接受法务审核。此外，也可以参考韩国著作权委员会汇集的四种AI与著作权指南。

检查偏见与刻板印象

模型会呈现出与训练资料中所含的社会偏见相似的倾向。例如，它可能会将某种职业与特定性别联系起来，或用一种固定形象描绘来自某个地区、属于某个年龄段的人。这些问题在内部草稿中看上去或许微不足道，但在招聘公告、广告和客户通知等对外成果中，就可能引发歧视或声誉方面的问题。

检查偏见，应与事实核查放在同一个环节进行。在对外公开之前，需要确认：描述人物的部分，性别、年龄、残障和出身等构成，是否与实际对象相符；是否出现了将特定群体一概而论的表述；如果结果用于对人作评价或评分，是否因所属群体不同，而出现偏向某一方的倾向。如果发现偏差，就应在指令中明确期望的构成，再由人对结果作选择和修改。

深入阅读

如何完整读懂“不用于训练”

数据政策文档中，最引人注目的句子通常是“我们不会使用客户的数据训练模型”。如果读到这句话就停下来，就会遗漏下面四个方面。

1. 适用对象：确认这句话具体适用于哪一种套餐、哪一个产品。即便属于同一家公司，个人套餐与企业套餐的相关表述也常常不同。
2. 默认设置与例外：“默认情况下”这几个字的后面，往往还存在例外。常见的附带条件包括，明确同意共享数据或者提交反馈时，内容仍可能被用于训练。
3. 其他维度：除了是否用于训练，还要查明保留期限、出于安全目的的保存、人工审阅，以及管理员访问分别如何处理。
4. 相连的路径：确认附件、已连接应用、记忆功能和分享链接，是否也遵循同样的规则。

政策文档经常改变。把数据政策写入内部指南时，应附原文链接与核实日期，并定期复查。

事故发生后的前30分钟

当你发现自己把敏感资料输入了不适当的环境，最糟糕的应对就是隐瞒事实，或者不加判断地删除记录。隐瞒会使公司失去采取应对措施的时间，删除则会使判断哪些内容已经暴露的依据消失。最初的应对措施，应按一定顺序进行。

1. 停止。 停止继续输入、共享和运行智能体。
2. 记录范围。 写明什么资料、何时、输入哪个账户和服务。
3. 报告。 按内部流程如实告知安全或个人信息保护负责人。若构成个人信息泄露，公司须依韩国《个人信息保护法》第34条及时通知信息主体并申报；报告越晚，公司履行义务也越迟。
4. 按指示处理。 取消共享、删除对话与已保存记忆，应遵循负责人指导。即使在用户端界面完成删除，服务提供方留存的内容也未必会立即清除。
5. 防止重演。 让获批准工具更易使用，完善输入前检查。

工作场景

坚实物产销售管理部的客户评估报告

工业零件经销商“坚实物产”销售管理部的张主管，正在准备本季度的客户评估报告。他手头的资料，是一份含有客户负责人联系方式的合同管理台账，以及上一季度的交付业绩记录。

张主管首先按信号灯对资料进行分类。交付业绩属于内部资料，列为黄灯；负责人的联系方式和合同单价，则列为红灯。由于公司另有经过批准的业务用AI环境，他决定不用个人账户。接下来，他对数据作了最小化处理。评估所需的只有客户名称、按期交付率和不良率，因此他制作了一份删除联系方式列的副本，并将该副本提供给AI。合同单价不属于评估标准，所以完全没有输入。

报告草稿生成后，张主管再次要求：“在每一句客户评估文字旁，写出作为依据的业绩表行号。”有一家客户的不良率被写得低于实际数值，他顺着行号查看，发现混进了另一家客户的数值。张主管修改了这句话。另有一句关于“与行业平均相比”的文字，找不到作为依据的行，也没有信息来源，因此被删除了。

最后，考虑到这份报告可能用于缩减交易等重大决定，他在报告开头写明：评价分数仅供参考，最终判断应在主管会议上由参会人员亲自作出。同时，他也明确说明了报告中哪些部分使用了AI。

方正施工报价部在个人账户粘贴资料

室内装修企业“方正施工”报价部的新员工洪专员，下班坐地铁时，想润色发给客户的报价说明邮件，于是把报价单粘贴进个人手机的免费AI应用。其中含客户姓名、住址、联系方式和施工金额。第二天早上重读安全规则，才发现失误。

洪专员最先想到的办法，是在应用中删除那段对话，然后不向任何人提起。然而，他意识到，仅仅删除对话，未必能让服务提供方留存的内容立即消失；隐瞒还会使公司失去为客户采取必要措施的机会，于是放弃了这一办法。第二个想法是关闭应用中的模型改进设置，但这只改变了“是否用于训练”这一个维度，无法撤销对已输入资料的留存，也无法逆转已经发生的信息暴露，因此单靠这一设置仍不足以应对问题。

删除对话前，洪专员记录了资料范围（一名客户整份报价单）、时间、应用名和账户类型，告知主管及个人信息保护负责人。负责人查阅官方帮助中的设置与保留政策，指导删除对话、确认未提交反馈，并保留内部记录。团队借此让公司批准的工具也能在手机使用，并规定AI处理报价单时采用去掉客户信息栏的模板。降低事故的关键不是处罚，而是快速报告与易用的获批准工具。

易错点

1. “关闭训练就等同企业版。” 训练设置只是五个维度中的一个。数据保留、人工审阅、管理员控制，以及合同提供的保护，都是应另外考虑的问题。
2. “临时聊天不会留在任何地方。” 为安全目的仍可能保留固定时间。ChatGPT说明最多30天，Gemini应用为72小时。
3. “删除姓名就是匿名。” 如果这些内容容易与其他信息结合，进而识别出个人，那么它仍然属于个人信息。需要同时检查联系方式、地址、职级，以及自由叙述文字中留下的线索。
4. “准确率高，就能自动决定。” 高风险领域无论准确率多高，都需合格人员实质审核，只有政策明确规定的有限例外情形方可豁免。
5. “企业版管理员也看不到。” 企业套餐默认不用于训练，但组织管理员可按政策访问对话。
6. “只做摘要，隐藏指令无所谓。” 歪曲摘要本身就有害；AI有行动权限时风险更大。外部资料需划界，权限最小化。
7. “来源链接能打开，就核实完了。” 来源真实，也未必支持主张。要按每条主张对照。
8. “条款说输出归我，就能安全当商标。” 权利条款不保证保护或不侵权。长期使用的成果应经法务审核。

要点速览

• 使用政策的共同禁止类别包括违法与暴力、儿童安全、侵犯隐私、欺诈与欺骗、破坏安全，以及无人工审核的高风险决定。政策、法律、内部规则需分别确认。
• 高风险领域由合格人员看内容后决定，并向受影响的人告知AI使用。
• 客户聊天机器人应说明AI身份，虚假评价与伪造来源被禁止。《人工智能基本法》第31条规定经营者的告知、标注义务。
• 考察数据时，要分别查看训练使用、保留、人工审阅、管理员访问和删除这五个维度。一个维度安全，并不意味着其他维度也安全。
• 个人账户关闭训练不能代替企业保护。关闭后，反馈仍可能用于训练。
• 输入资料前，要依次问四个问题：是否确实必需，是否属于获批准的环境，能否缩小输入范围，以及合同和内部规定是否禁止这样做？
• 个人信息包括易与其他信息结合识别个人的信息。用去除、替换、泛化、虚构资料降低可识别性。
• 外部资料隐藏指令，通过边界标记、最小权限、高风险行动批准应对。
• 逐条主张核查：打开来源、核对段落、重算数字，无依据则删除或标“待核实”。第1章的事实锚定也不能代替这一步。
• 著作权与标注来源各自独立，对外公开前也应检查偏见。

查阅官方文档

• OpenAI — Usage policies：禁止类别、禁止无人工审核的敏感领域决策自动化。
• Anthropic — Usage Policy：高风险使用的人工审核与告知、聊天机器人AI身份告知。
• Google — Generative AI Prohibited Use Policy：高风险自动决定限制、禁止伪造来源。
• OpenAI — Data controls in ChatGPT / Enterprise privacy：个人版训练设置、临时聊天、反馈、企业版不用于训练与管理员访问。
• Anthropic — Is my data used for model training?：Claude个人版训练使用与隐身聊天。
• Google — Gemini Apps Privacy Hub：人工审阅与保留期。
• OWASP — LLM01:2025 Prompt Injection：直接、间接注入与对策。

自测

4-1. 写出三家公司使用政策共同包含的三个禁止类别。

4-2. 写出评估AI服务数据处理时相互独立的五个维度。

4-3. 将以下资料分为绿灯、黄灯、红灯：公司官网发布的招聘公告、下季度拟上市产品的未公开价格表、员工体检结果清单。

4-4. 团队年假使用表只删除姓名列，保留部门、职级、入职年份。请依据韩国《个人信息保护法》的个人信息定义，解释为什么它仍可能是个人信息。

4-5. 即使已经在个人账户中关闭了用于改进模型的设置，用户的某种行为仍可能使对话被用于训练。请写出这样一种行为，并解释为什么这一行为会构成例外。

4-6. 一份由AI制作的市场分析备忘录，附上了真实存在的新闻文章链接作为来源。请写出两种情形，说明仅仅知道链接可以打开，仍不能认为验证已经完成。

4-7. 为一家30人公司设计五行“AI使用规则”，必须包含批准工具、禁止输入的信息、核查、高风险决定、事故报告。

实操练习