第 1 章 AI适用性判断

学习目标

• 针对每项任务，在规则·查询、检索、分类模型、生成模型、工作流、智能体中选择合适的解决方案并阐述理由。
• 区分更适合 AI 与不适合 AI 的问题，并在策划初期筛除不需要 AI 的需求。
• 综合权衡数据条件（记录、预期输出、代表性、是否允许向外部传输）与成本条件（效果与开发、评估、运营成本之比），决定是否启动。
• 评估韩国《人工智能基本法》的高影响领域与生成式人工智能义务，以及韩国《个人信息保护法》的自动化决策条款对策划产生的影响。
• 将判断依据整理成一份一页纸的 AI 适用性判断备忘录。

引言

假设在某个会议室里有这样一段对话：“听说竞争对手上线了 AI 咨询服务。我们这季度也加一个吧。”“加在哪里？”“嗯……先放在问询那边吧。”在这段对话中，提问的逻辑颠倒了。解决方案（AI）已被预先确定，而问题却在事后寻找。以这种方式启动的功能，结局往往逃不过两种情况：要么把几行规则就能搞定的事情做得既昂贵又不稳定；要么在真正需要 AI 的地方，却因缺乏数据而束手无策。

AI 适用性判断不是去问“如何使用 AI”，而是去问“这个问题是否需要 AI？如果需要，哪种形态最简单？”。Anthropic 在智能体设计指南中指出，应寻找尽可能最简单的解决方案，仅在必要时才增加复杂度，而这甚至可能意味着根本不需要构建智能体系统。策划人员的首要职责，就是守住这种对“简单”的感知。

本章首先搭建起解决方案的阶梯，探讨阶梯的各层分别适用于何种场景。接着，按照 Google PAIR 指南的分类梳理 AI 擅长与不擅长的问题，并结合数据与成本这两项现实条件进行权衡。最后，探讨法律介入策划的关键节点，即高影响领域与自动化决策，并学习如何将所有这些判断沉淀为一份一页纸的备忘录。

核心概念

什么是 AI 适用性判断

AI 适用性判断是指针对一项业务任务确定三件事：第一，是否需要自动化或辅助；第二，如果需要，哪种解决方案能以最简单的方式达成目标；第三，当前是否具备构建该方案的条件（数据、成本、法律要求）。三者中只要有一项的答案为“否”，就不应启动该 AI 功能，或者需要改变其形态。

打个比方，AI 适用性判断就像医院的诊疗流程。医生不会一听完症状就建议动手术，而是先确认病因，看能否通过药物治疗，只有在药物无效时才会选择更重的处置方案。AI 也是如此。把生成模型用在规则就能解决的事情上，就如同感冒了却建议动手术一样。

解决方案的阶梯

AI 功能的解决方案可以从轻到重排成一个阶梯。越往上走，能做的事情越广，但结果的不确定性、成本以及需要验证的事项也会随之增加。

Anthropic 将工作流定义为由 LLM 与工具按照既定代码路径编排的系统，而将智能体定义为由 LLM 自行决定执行过程与工具调用的系统。Anthropic 解释道，智能体应适用于难以或无法预测步骤数量的开放式问题，并且必须接受以自主性为代价所带来的成本增加与错误累积风险。因此，他们建议在沙箱中进行充分测试并设置适当的护栏。

规则与查询胜出的场景

对于结果完全由输入和规则决定的工作，规则与查询是最准确、最经济且最快速的方案。运费计算、会员等级折扣、剩余积分查询、截止日期计算等均属此类。即使用户使用自然语言提问，结论也不会改变。如果提问的表述方式较为固定，只需进行轻量级的意图分类，答案直接展示系统中的原值即可。

此时常见的误区是“既然提问是自然语言，答案也必须由模型生成”。一旦让模型将数字转化为语句，就会产生数字转述错误的风险。对于系统中已有确定答案的工作，加入生成环节不仅毫无裨益，反而会增加需要验证的事项。Google PAIR 指南也将必须保持可预测性的工作列为很可能不适合 AI 的类型。

检索胜出的场景

如果目标仅是从指定文档中检索并展示原文，那么使用检索是正确的。特别是当用户必须亲自阅读原文并进行判断，且不认可经改写的语句作为依据的业务（如法务、审计、规章解释的最终确认）中，生成环节无法带来任何额外价值，反而会带来摘要与原文出现微妙偏差的风险。

相反，如果需要将分散在多份文档中的内容加以整合并通俗阐述，仅靠检索就远远不够了。此时应采用先通过检索找到依据段落，再结合该段落进行生成的架构（检索增强生成）。Claude 文档说明，在处理长文档时，先提取直接引用作为依据，并要求每个论断都通过引用进行验证，可以有效减少捏造答案。

需要模型的问题

Google PAIR 指南列举了八类很可能更适合 AI 的工作。在策划中最常见的有四类：为不同用户推荐不同内容、预测未来事件、理解自然语言、检测罕见且随时间变化的事件。其余四类是：通过个性化提升体验、整体识别某一类别对象、特定领域的智能体与机器人体验、动态内容比可预测界面更高效的场景。它们的共同点在于，无法通过规则预先写出所有可能的情况。将自由格式的问询按类型分类、预测客户的下一次购买时机、拦截手法不断变化的欺诈交易等均属于此类。

在这类工作中如果一味固守规则，规则就会无休止地增加，且每当出现新情况时都会陷入被动。然而，这并不意味着模型就能保证给出正确答案。判断一个问题“需要模型”，仅代表“规则行不通”，并不等于“有了模型就行”。因此，必须仔细考量阶梯的下一层，即数据与评估条件。

一旦得出需要模型的结论，还要决定立足于阶梯的第 3 层（分类·预测模型）还是第 4 层（生成模型）。

即使是将内容划分为既定类别的工作，如果带有标注答案的记录较少或表述形式多样，将分类任务交给生成模型往往能更快启动。无论选择哪一种，都需要通过评估集确认其是否达到标准。

不适合 AI 的问题

同一份指南还列举了六类很可能不适合 AI 的工作：必须保持可预测性的工作、提供静态或受限信息的工作、必须将高代价错误降至最低的工作、需要完全透明度的工作、以快速低成本构建为首要目标的工作，以及将人们看重价值并希望亲力亲为的事情进行自动化。

其中，“高代价错误”与“完全透明度”尤其容易被策划人员忽略。对于单次错误代价极高且不可逆转的判断（例如仅凭一张照片判定物理安全），即使准确率很高，不交给 AI 处理也是正确的决定。对于必须逐一展示得出结果的每一步过程的工作（例如税额计算依据、应用规章的先后顺序等在审计或申诉中需要逐行推敲的决定）也是如此。基于概率生成答案的模型很难像规则那样完整复现并展示答案生成的全过程。因此，这类工作应通过规则实现，而将 AI 置于辅助解释的角色。NIST AI RMF 将判断系统是否达成预期目标、是否推进开发或部署视为风险管理的一部分。“不做”同样是合情合理的策划结论。

自动化与辅助

AI 功能可以分为替代人工的自动化与协助人工的辅助（augmentation）。PAIR 指南指出，当能彻底消除人们想要规避的工作时，自动化更受欢迎；而当角色风险较高时，人们倾向于或者必须掌握控制权。

策划人员可以通过两个问题来区分二者：用户是否希望亲自做这件事？以及谁对结果承担责任？对于重复、枯燥且出错后易于纠正的工作，适合采用自动化；而对于判断伴随责任且用户需要理解结果的工作，适合采用辅助。面对诸如承诺金钱赔付的客户答复等难以挽回的后果，由 AI 拟定草稿、人工进行审批的辅助形态是常见的解决方案。

选择工作流与智能体的基准

即使得出需要 LLM 的结论，其形态也有很多种：是一次调用即可完成，还是按部就班地经历既定步骤（提示词链式调用），或是对输入进行分类后路由至不同处理分支（路由），亦或是交替进行生成与评估（评估器-优化器），还是必须由系统自行决定步骤（智能体）。

Anthropic 将路由解释为对输入进行分类并分发至专门后续任务的方式，并指出当分类能够通过 LLM 或传统分类模型准确处理时最为适用。而评估器-优化器则建议在具备明确评估标准且迭代优化能带来可衡量价值时使用。

数据条件

即便是需要模型的问题，缺乏数据也无法构建，即使构建出来也无法验证。策划人员需要确认的数据条件有四项：

1. 是否存在记录。 欲预测的事件是否在系统中留存。如果订单仅通过私人即时通讯工具往来且未记录日期，就无法启动对下单时机的预测。
2. 是否存在预期输出。 是否存在标明正确答案的标注数据或人工判定记录。如果缺乏这些，就无法构建评估集。
3. 是否具备代表性。 现有数据能否代表实际用户和真实输入。PAIR 指南强调，数据必须反映实际使用人群的多样性与所处上下文。
4. 是否获准使用。 该数据是否可以传输给外部模型供应商。若夹杂个人信息或合同保密内容，须通过合同文件核实供应商的处置条款（保留期限、是否用于模型训练等），必要时在发送前进行遮蔽脱敏。

若缺乏记录，应先建立留存数据的业务流程；若有记录但缺乏预期输出，则应先从为样本标注预期输出着手。

成本条件

AI 功能的成本远不止模型调用费用，还包括开发、评估集构建、安全与法务审查、运维监控、失败兜底处理人力以及应对模型更替等。其效果通常按“节省的时间 × 单价”或“增加的营收”来衡量。

可以先做一个简单的测算：年处理量为 500 件、每件耗时 4 分钟的业务，即使实现完全自动化，全年节省的时间也仅约 33 小时。相反，若日处理量为 5,000 件、每件耗时 2 分钟的业务，哪怕只实现一半的自动化，每天就能节省约 83 小时。对于处理量较小的业务，无论系统构建得多好，都难以收回成本。

调用成本本身也可以通过架构设计来降低。根据 Claude 文档，不需要即时响应的大批量任务可以使用 Message Batches API 进行异步处理，大多数任务可在 1 小时内完成，并能降低 50% 的成本。不过，若在 24 小时内未完成处理则会失效，因此有明确截止时间的工作应预留充足余量。首先确认是否需要实时响应，是成本判断的首要问题。

是否属于高影响领域

韩国《人工智能基本法》将对人的生命、身体安全及基本权利产生重大影响或可能带来危害的人工智能系统中，在指定领域应用者定义为高影响人工智能（第 2 条第 4 项）。策划人员需熟记的领域如下：

人工智能经营者在提供产品或服务时，必须预先审查该人工智能是否属于高影响范畴，必要时可请求科学技术信息通信部长官予以确认（第 33 条）。请求确认属于“可以请求”的裁量程序。若属于高影响范畴，则必须履行风险管理方案、在技术可行范围内的解释说明方案、用户保护方案、人工管理与监督，以及制作并妥善保管可查验各项措施实施内容的文书等义务（第 34 条第 1 款）。此外，法案还包含高影响人工智能影响评估条款（第 35 条第 1 款），规定应努力预先评估其对人类基本权利产生的影响。

即使不属于高影响范畴，法律也有介入的节点。若提供利用高影响或生成式人工智能的产品与服务，必须将该事实预先告知用户（第 31 条第 1 款）；在生成式人工智能的产出结果上，必须标注该结果由生成式人工智能生成的事实（第 31 条第 2 款）；对于难以与现实区分的虚假音频、图像、视频，必须进行告知或标注，以便用户明确识别（第 31 条第 3 款）。

自动化决策与韩国《个人信息保护法》

除韩国《人工智能基本法》之外，韩国《个人信息保护法》第 37 条之 2 规范了完全通过自动化系统处理个人信息而做出的决策（自动化决策）。依据韩国《行政基本法》第 20 条由行政机关做出的自动化行政处分不属于本条所指的自动化决策。该法条明确写明“包括应用人工智能技术的系统”，因此即便不是 AI、而是基于规则引擎的自动决策，也同样可能适用该条款。

若该决策对本人的权利或义务产生重大影响，信息主体有权拒绝该决策；但如果是依据同意、法律规定、合同履行等做出的决策，拒绝权将受到限制（第 1 款）。相比之下，要求对决策作出说明等的权利（第 2 款）及处理者据此承担的处理义务（第 3 款），以及为便于核实而公开决策的标准、程序与个人信息处理方式的义务（第 4 款），则没有“重大影响”这一前提条件，广泛适用于所有自动化决策。施行令规定，对于不具有重大影响的决策，可以更简略地予以说明。

施行令对此作了进一步细化。要求说明等权利细分为：对决策标准和处理过程的说明要求，以及信息主体提出补充个人信息等意见并要求审查能否将该意见反映到决策中的要求（施行令第 44 条之 2）。处理者若无正当理由，必须提供包含决策结果、所使用的主要个人信息类型、主要标准、处理程序的简明扼要且有实质意义的说明，或者审查是否采纳该意见并予以告知。对于拒绝的情况，应不适用该决策或引入人工介入重新处理；原则上应在收到要求之日起 30 日内采取相应措施（施行令第 44 条之 3）。须公开的事项也在施行令第 44 条之 4 中作了明确规定。

这给策划人员带来的启示十分朴素：“不用 AI 改用规则就能规避监管”的想法可能是完全错误的。只要设计上是由个人信息自动做出决策且未经人工实质性审查（行政机关的自动化行政处分除外），不论采用何种技术，都必须一并规划标准公开、受理说明与复核要求、负责人的处理流程；若决策对权利有重大影响，还必须纳入对拒绝要求的处理机制。

筛除不需要 AI 需求的判定提问

当收到候选的 AI 课题时，依次提出以下五个问题。第 1~4 题决定是否使用 AI，第 5 题决定如果使用应以何种形态使用。若在前置问题上被拦截，则不再往下推进，直接将拦截点对应的结论记录在判断备忘录中。

结论必为以下六种之一：启动（自动化）、启动（辅助形态）、变更形态（规则·检索）、数据先行、搁置（维持现有方式）、不构建。被筛除的课题也不要随手丢弃，应附上后续行动与负责人一并归档记录。

AI 适用性判断备忘录

判断务必落实为书面记录。日后必须能够合理解释“为什么这项功能要用 AI 来做”以及“当时为什么没有做”，同时这也可以作为法律事前审查的凭证。一页纸足矣。

[AI 适用性判断备忘录]
课题：（一句话）
当前处理方式与处理量：（每月○件、每件○分钟、错误率○%）
解决方案阶梯：（选定层级） / 下一层无法满足的原因：（一句话）
数据条件：记录（有/无） · 预期输出（有/无） · 代表性 · 是否允许向外部传输
成本条件：预期效果 vs 开发·评估·运营成本
法律审查：是否属于高影响领域（第 2 条第 4 项第○目审查结果）、生成式告知·标注、是否属于自动化决策
结论：启动（自动化） / 启动（辅助形态） / 变更形态（规则·检索） / 数据先行 / 搁置（维持现有方式） / 不构建
后续行动与负责人：

深入阅读

“等模型变好再做”这一判断的陷阱

在搁置AI项目时，人们往往会说“等模型性能达到足以全权托付这项工作的水平时，我们再来看”。但这种判断仅在两种情况下才是正确的：一是错误会导致无法挽回的重大损失，且即使人工介入也无法降低风险；二是使用当前模型进行评估后，发现其表现大幅低于标准。

在其余情况下，这种判断往往忽略了两点：第一，可能错误地将当下本可以通过规则立即实现的工作归类为了AI问题；第二，即使尚未达到“足以全权托付的水平”，只要结合人工介入，现在就能产生价值。如果是错误可逆的分类任务，完全可以采用仅将低置信度案例转交人工处理的方式，在今天就启动。决定搁置时，请务必以数字形式记录下究竟发生何种改变（评估分数、成本、数据）才会重新评估该项目。

由人做决策，风险就会消失吗

由人做出最终决策的架构可以降低风险，但并不能消除风险。如果每天以每件仅看几秒的速度审核数千起事务，直接全盘批准AI的推荐，那么即使形式上是人的决策，实质上也是自动化。虽然这一问题将在第4章详细探讨，但在适用性判断阶段也必须确认两点：审核人员是否拥有更改结果的权限和判断依据，以及处理量是否在其实际能够审核的范围内。

在法律层面上，这种区分同样至关重要。韩国《个人信息保护法》中的自动化决策针对的是“完全”自动化的决策，因此若存在实质性的人工审核，其适用范围可能会有所不同。相比之下，韩国《人工智能基本法》对高影响的定义是以领域和用途为基准的，因此即使有人工审核，事前审查义务依然存在。同样的“人的决策”，在两部法律中的作用机制截然不同。

成本对比中容易遗漏的项

如果仅凭报价单上的开发费用和每月API调用费用来计算AI功能的成本，几乎总是会低估其实际成本。容易遗漏的项如下：

Claude官方文档指出，公开模型的退役将至少提前60天通知，向已过退役日期的模型发送的请求将会失败。请务必将“AI功能并非建成就完事的资产，而是需要持续维护的服务”这一特性计入成本之中。

工作场景

海路海运的装运单证核对

海运公司“海路海运”的运营团队每天接收400份装运单证，核对货物重量、集装箱号和危险品标识是否与订舱信息一致。团队主管提出要求：“希望AI能直接阅读单证并完成全部核对。”

规划人员对该任务进行了拆解。单证中，固定格式的电子文档占70%，扫描纸质文件占30%。由于电子文档的值可以直接作为字段读取，因此与订舱信息的核对仅靠规则对比便已足够；而扫描文档需要识别文字并提取字段，因而需要模型。

最初提出的方案是“由智能体阅读单证、找出不符之处，并向船公司发送更正请求邮件”。规划人员否决了该方案。因为发送更正请求属于对外执行的操作，一旦发错难以挽回，而且步骤固定的工作也没有理由交由智能体处理。同时，他们也放弃了“等模型性能变好再搁置”的方案，因为其中70%的内容在今天就可以通过规则实现。

最终决定如下：电子文档通过规则核对自动处理；扫描文档由模型提取字段并固定输出格式，使用过去三个月内由员工核对过标准答案的300份扫描文档构建评估集后，再决定是否正式启动；危险品标识出错造成的危害极大，因此一旦出现不一致，一律由人工核实；更正请求邮件由人工发送。在法律合规审查栏中，记录了关于该功能是否属于韩国《人工智能基本法》第2条第4项（h）目（交通工具、交通设施、交通系统的关键运行与操作）的审查结果及依据。审查结论认为，单证核对是内部核验工作，并不直接控制航运或交通系统的运行，模糊部分则留作法务团队待确认事项。在判断备忘录中，还特别注明了一句话：“无论准确率如何，危险品标识项一律由人工核实。”

晨曦面包工坊的新品文案

烘焙连锁品牌“晨曦面包工坊”的市场团队希望每月使用AI生成新品介绍文案的备选内容。与此同时，营业团队也提出请求：“请用AI预测各加盟店下个月的订货量。”

文案生成任务几乎不包含事实性主张，由人工筛选润色，且每月的处理量仅有数十条。虽然这看起来与“处理量小则难以收回成本”的原则相违背，但由于该任务无需专门构建系统，而是使用已签约的通用AI工具获取候选文案，几乎不产生开发与运营成本，加之每次均由人工挑选，因此无需单独的评估体系。规划人员判定该任务属于只需单次调用生成模型即可的辅助功能。不过，他们补充了一条规则：凡涉及原材料或致敏原标注等事实陈述的语句，必须直接引用商品原始信息；同时在备忘录中将“生成式人工智能产出内容的标示义务（第31条第2款）是否适用于经人工修改润色的广告文案”列为法务团队的审查事项。

订货预测属于AI擅长的任务类型，但受阻于数据条件。由于加盟店订货此前是通过电话和短信接收的，总部系统中仅保留了月末汇总数据。规划人员搁置了“启动AI预测”，转而将“引入加盟店订货App以记录日期、品类和数量”列为前置任务。营业团队虽感失望，但三个月后随着数据的积累，预测任务与评估集一同被重新提上日程。当时否决的选项是“先用汇总数据试着建个模型”，因为仅仅依靠月末汇总数据，模型根本无法学习到下一次订货的具体时机。

易错点

1. “既然是用自然语言提问，就该由LLM来回答。” 提问的形式与答案的性质是两码事。如果答案是系统中的已有数值，查询才是正确的方式，使用生成模型只会徒增抄错数字的风险。
2. “智能体是最先进的形态，所以最好。” 智能体适用于步骤数量无法预测的开放性问题。若将其用于固定步骤的任务，只会增加成本并导致错误累积。
3. “如果是需要模型的问题，就可以立即投入开发。” 如果缺乏历史记录和预期输出，即便开发出来也无法验证。数据条件就是启动的前提条件。
4. “体量再小的业务，只要自动化就能获益。” 如果处理量很小，就无法收回开发、评估和运营的成本。请先计算每年能节省多少时间。
5. “只要由人做出最终决策，就不属于高影响。” 高影响是由应用领域和用途来定义的。人工管理与监督是高影响场景下的法定义务，而非豁免理由。
6. “只要用规则而不是AI来实现，就无需担心法律问题。” 韩国《个人信息保护法》中关于自动化决策的条款，同样适用于非AI的完全自动化系统。
7. “在判定是否属于高影响时，要暂停规划直到获得长官确认。” 申请确认是在完成自行事前审查后、对于是否适用确实存疑时可采取的正当程序。然而，如果属于贷款审批等法条已明确列举的领域、判定本就十分清晰，却一味等待答复而停滞规划，实际上是在推卸事前审查义务。

要点速览

查阅官方文档

• Anthropic — Building effective agents：最简方案原则、工作流与智能体的区分、路由与评估器-优化器。
• Google PAIR Guidebook — User Needs + Defining Success：AI更擅长与不擅长的工作、自动化与辅助。
• Google PAIR Guidebook — Data Collection + Evaluation：从用户需求到数据需求、代表性与测试集。
• Claude Docs — Batch processing：批处理的成本与处理时间、过期条件。
• NIST AI RMF — Core：MAP 3.1（收益审查）、MANAGE 1.1（是否继续推进的判断）。
• 国家法令信息中心 —— 《人工智能基本法》第2条：高影响人工智能与生成式人工智能的定义。建议一并阅读该法第31、33、34、35条。
• 国家法令信息中心 —— 《个人信息保护法》第37条之2：信息主体对自动化决策的权利。该法施行令第44条之2至第44条之4规定了要求方式、措施以及公开事项。

自测

1-1. 请用一句话写出在解法阶梯中适合采用智能体的问题条件，并列出其中的两项代价。

1-2. 请写出四项以上Google PAIR指南中认为使用AI不大可能带来更好效果的任务。

1-3. 在图书馆座位预约App中，有人提议增加“以对话形式告知剩余座位数的功能”。剩余座位数在预约系统中实时存在。此时哪种解法是正确的？为什么生成式模型并不合适？

1-4. 想要开发预测客户下次到访时间点的功能，但到访记录仅存在于现场的纸质登记簿中。策划人员最先要做的事情是什么？

1-5. 根据韩国《人工智能基本法》，若属于高影响人工智能，经营者应当采取的措施请写出三项以上。

1-6. 有人主张“如果决定拒绝权因合同而受到限制，就不必理会自动化决定的相关条款”，请结合韩国《个人信息保护法》第37条之2说明该主张存在的问题。

1-7. （设计）从你当前负责的服务中挑选一个AI候选课题，依次回答本章的五个筛选问题，并用一句话写出结论。

实操练习