第 5 章 引入价值与组织视角

学习目标

  • 说明订阅制与按token计费的差异,读懂计费表单位,按用途选择。
  • 不只看单价,而是以包含准备、审核和返工的总成本及总时间,比较不同方案。
  • 按效果与风险分类业务场景,选择首个引入对象。
  • 用基线和可衡量指标展示引入效果,避免用量指标的陷阱。
  • 说明试点顺序、扩大、修改、停止的标准,以及组织治理框架。

引言

经营家具工坊的负责人卓先生,在今年春天为全部十二名员工购买了AI付费订阅。三个月后,负责会计的员工问他:“每个月支付这笔费用后,我们的工作究竟有哪些改善?”卓先生却答不上来。员工们虽然说“工作方便了”,但究竟哪项工作加快了多少、错误有没有减少,却没有人说得清楚。十二名员工中,每周都会使用AI的只有四人。会计建议取消所有订阅,而经常使用AI的员工却认为需要购买更贵的套餐。由于缺乏相应的数字,无法判断双方的意见究竟哪一方更有道理。

问题不是AI没有用,而是没有选择用AI做什么,没有衡量引入前的状态,也没有定义什么算成功。因此,没有依据判断应继续、扩大还是停止。

本章从管理者的角度判断引入AI。先理解成本结构(订阅、token计费、总成本),再了解优先选择哪项工作的标准。随后讨论用数字体现效果的指标与基线、如何设计试点并作出结论,以及组织层面的运作框架。这些内容也适用于想向团队提议引入AI的一线人员,将AI运用能力中的委派与尽责扩展到组织层面。

核心概念

订阅制与按token计费:包月套餐与电费

AI费用主要有两种形式。

区分 订阅制(按席位) token(用量)计费
比喻 手机包月套餐 用多少付多少的电费
主要使用者 人直接在界面操作 系统通过API自动调用
优点 按人数容易预测费用 随处理量增减
注意 不使用的席位也收费 用量增加,费用也增加

对于员工每天用来处理文档的工具,采用订阅制更易于预测费用;对于系统自动处理的大批量工作,按token计费往往更合适。还要记住,这两种计费体系相当于两个独立的钱包。OpenAI说明,订阅中包含的使用量与API使用量分别计算,API使用遵循其自身的价格规则;使用自己的API密钥时,同样适用API价格。

阅读计费表时应确认的单位

比较计费表,必须先统一单位。请确认以下项目。

检查项目 订阅制 token计费
计费单位 每名用户,每月或每年 输入token、输出token(通常按每百万个)
包含用量与限制 各功能用量上限、超额后如何处理 请求频率上限、月支出上限
单独收费项 高级功能、额外额度 缓存输入(复用反复发送的相同前缀、采用不同价格的输入)、工具使用、存储
折扣 年度合同、席位数量 时效要求较低的批处理
合同条件 最低席位数、解约条件 币种、税费、付款方式

这里还需要补充两点。第一,采用订阅制,并不意味着所有功能都可以无限使用。多数套餐都会为各项功能规定使用上限。第二,即便采用token计费,也并不是只有一种单价。OpenAI说明,输入token、缓存输入token和输出token的价格可能不同,并提供一种批处理方式,让不需要即时回答的任务以比普通调用低50%的价格完成。具体价格经常变化,因此在作出决定之前,应再次查看官方价格页面。

看总成本,而不只看单价

OpenAI说明,每百万token价格低,不代表总成本低。不同模型把相同文字切成的token数不同,生成的输出和推理token数量也不同(推理token是第1章所述的回答前内部使用、按输出收费的token)。因此,它建议用自己工作的代表任务实际运行结果比较,而不只看可见答案长度。

要点

请按“处理同样100项工作的总费用”比较成本。只看单价,使用大量推理token的模型可能带来远超预期的账单。

还要加上人的成本。引入AI的总成本不只是使用费。

  1. 准备成本:整理资料、编写指令与模板、制作检查案例。
  2. 培训成本:培训员工、编写使用指南。
  3. 运营成本:管理员设置、权限管理、政策更新。
  4. 审核成本:检查和修改结果的时间。
  5. 返工成本:结果无法使用、从头重做的时间。

使用费便宜的工具,审核与返工多,也会变贵。简单表达为“总成本=使用费+准备、培训、运营成本+(审核时间+返工时间)×每小时人工成本”。

用例选择标准:选择工作中的一个步骤

“在销售岗位引入AI”这样的目标,范围过大,无法验证。应选择工作中的一个步骤,而非整个岗位。以销售为例,可以拆分为收集资料、起草提案、起草客户问题的答复、审阅合同条件等步骤,再从中选择一个,作为第一个引入AI的对象。

好的初始候选具备以下条件。

标准 要问的问题
频率 是否经常重复
投入时间 当前是否耗时很多
标准化 结果格式和标准是否明确
可审核性 人能否快速核查结果
资料敏感度 敏感信息是否少,或可最小化
可撤回性 出错后是否容易修正

比起演示中引人注目的工作,每周反复出现、人容易核查的工作,更能持续积累价值。

按效果与风险分类

把候选工作按效果(节省时间、提高质量)与风险分类,就能看出优先级。

低风险 高风险
效果大 优先开始 先建立控制措施,再谨慎推进
效果小 有余力时尝试 暂缓

风险不宜简化为一个数字,应看四个因素的组合。

  1. 错误可能性:AI在这项工作中的出错频率。
  2. 损害规模:一次错误会造成多大损害。
  3. 发现难度:人是否容易察觉错误。
  4. 可撤回性:错误结果是否可以撤回。

经常出错但一眼可见、容易修正的工作,可能风险低;很少出错但难发现、对外产生无法撤回影响的工作,风险可能高。“效果大、风险低”通常包括会议纪要整理、内部咨询分类、草稿撰写。第4章高风险领域的决定,即使效果大,也应先设计人工审核流程。

与不使用AI的改进方法比较

并非所有问题都应该用AI来解决。如果是文档格式各不相同,导致处理耗时,那么制定一份标准模板,可能就足以解决问题;如果同样的问题反复被提出,那么先整理好一个说明页面,可能更有必要。评估是否引入AI时,应把“不使用AI也能作出的改进”纳入比较对象。先排除通过改进现有模板、使用普通搜索和计算工具、梳理业务规则就能解决的部分,之后仍然存在的价值,才是AI真正能够贡献的价值。Anthropic在设计智能体时建议先寻找尽可能简单的方案,也是同样的道理。

好的引入效果指标的四个条件

Anthropic通过以下四个条件,说明怎样才算好的成功标准。

  • 具体:说明要实现什么,如“准确分类咨询”,而不是“良好成效”。
  • 可衡量:使用数字或能一致应用的评价量表。
  • 可实现:参照行业标准、既有实验和专家知识,设定现实目标。
  • 相关:指标应符合业务目的和用户需求。

Anthropic还解释说,在大多数情况下,成功标准应当包含多个维度,而不只是一个。只测量处理时间,就可能漏掉质量已经下降的情况;只测量质量,则可能忽略成本已经增加。衡量AI引入效果时,基本做法是把时间与质量配对测量。

基线与测量设计

基线是指在引入AI之前,对同一个指标测量得到的数值。如果没有基线,就无法证明“情况变好了”。OpenAI同样建议,将改进提示词阶段建立的评估集,作为今后比较时的基线。设计测量方案时,需要确定以下事项。

  1. 测什么:指标定义与分母(每件还是每天)。
  2. 何时测、测多久:在引入前后的对比周期内,季节和工作量应相近。
  3. 用什么样本:难度相近,不只挑简单任务。
  4. 谁按什么标准判断质量:使用同一标准表、同一评判者。
  5. 如何记录例外:单独保留失败案例和人工重做案例。

指标类型与陷阱

指标类型 例子 局限
成效指标 每件完成时间、按期完成率 必须有基线
质量指标 返工率、错误率、审核通过率 必须固定判定标准
使用指标 请求次数、活跃用户数 用得多不代表有价值
产出指标 制作文档数 数量不等于成果
感受指标 满意度调查 仅作辅助资料

常见陷阱有三种。

  • 把用量当成成效:登录或提问增加,只代表关注度,不是价值证据。
  • 只测生成时间:草稿一分钟生成,审核和修改却很久,工作并没有变快。应测从准备资料到批准、交付的完成全过程总时间,也包括无法使用、从头重做的时间。
  • 把节省时间直接算成降低成本:员工完成工作的时间减少,并不等于组织的实际支出随之减少。省下的时间是“释放出的可用工时”,还需要单独说明这些工时用于何处,例如处理更多业务、减少外包或开展新工作,才能体现实际价值。同时,应注意避免把同一项收益重复计算两次。

试点顺序与扩大、修改、停止标准

试点是先在一个小范围内进行试验性运行。为了确认引入AI的效果,需要按照下面的顺序推进。由于每个步骤都把前一步骤的结果作为输入,所以很难任意改变这个顺序。

  1. 收集候选工作。
  2. 按效果与风险排序,选首个对象。
  3. 提前确定成功标准与停止条件。
  4. 测量所选工作的当前值,建立基线。
  5. 小规模试点,用相同方式重新测量。
  6. 对照两组数据,决定扩大、修改或停止。

用于作出决定的标准,必须在开始试点之前就确定下来。如果等开始之后再制定标准,就容易因为已经付出的努力,而倾向于对结果作出过于乐观的解释。

决定 条件示例
扩大 时间和质量指标均达到预定标准,且无重大错误、安全或个人信息事故
修改 只有一个指标达标,或发现可修正的原因(指令、资料、模型档位)
停止 触发停止条件(重大错误已对外发出、敏感信息事故、总时间增加)

不要把小规模试点得出的结果,直接照搬到整个组织。少数热情积极的员工取得的结果,未必意味着所有人都能够获得同样的效果。

组织视角:治理与能力

当引入AI超出了个人使用技巧的范围,成为整个组织的工作时,就需要一套运营框架。美国国家标准与技术研究院(NIST)的AI风险管理框架(AI RMF 1.0),是一套供组织自愿采用的框架,其核心分为以下四项功能。

功能 作用 用业务语言表达
GOVERN(治理) 建立风险管理文化、流程和责任,贯穿所有功能 谁负责,按什么规则使用
MAP(了解情境) 确定AI系统风险所处的背景 哪里用什么AI,危险是什么
MEASURE(测量) 分析、评估和监测风险 表现多好,多常出错
MANAGE(管理应对) 配置风险应对资源,处理事故并恢复 出问题怎么办,何时修改或关闭

NIST于2024年发布了针对生成式AI风险的生成式AI风险概况文件(NIST AI 600-1)。即使小组织,把这四项功能填成一页表,也能看出缺口。尤其当存在公司不知情的AI工具使用(通常称为影子AI)时,应先摸清现状,再测量与应对。

人员具备的能力,同样是运营框架的一部分。本书使用说明中介绍的四项AI运用能力,即委派、描述、辨别和尽责,也可以作为设计培训课程的依据。应当均衡地教授如何决定把哪些工作交给AI、如何有效下达指令、如何评价结果,以及如何负责任地使用AI。只有这样,引入AI才不会仅仅停留在少数人掌握的技巧上。

深入阅读

引入后却没人使用怎么办

如果已经分发了使用许可,实际使用的人却很少,原因往往在于员工“不知道怎样把它用于自己的工作”,而非工具本身。在这种情况下,继续购买更多许可,或者强迫员工使用,效果都不大。下面这些方法会更加有效。

  1. 展示各项工作的用法。 “我们团队这样缩短周报耗时”的具体案例,比一般功能介绍更能打动人。
  2. 共享验证过的模板。 把第2章制作的模板和检查案例作为团队资产分享。
  3. 各部门安排辅导人员。 由先行熟悉工具的员工担任同事的答疑联络人。
  4. 回应担忧。 对岗位的担忧也会阻碍使用。应明确:目的是减少重复劳动,把时间用于判断和服务客户;结果责任仍由人承担。

使用率作为辅助指标,有助于观察AI在组织中已经普及到什么程度,但它不应当成为引入AI本身的目标。

避免绑定单一供应商

如果把组织的整套工作流程,都深度适配到某一家公司的某一款产品、某一个功能上,那么一旦该产品的价格、功能或政策改变,整个工作流程也会随之受到影响。这种状态称为供应商锁定。正如第3章所介绍的,产品的名称和形态,甚至在短短几个月内就可能发生变化。

虽然无法完全避免这种依赖,但可以采取一些方法减轻冲击。把指令和检查案例作为文档保存在产品之外;将业务资料的原件留在公司系统中,只让AI连接原件或使用副本;对于重要业务,事先做好准备,使其能够选用代表性案例,在其他产品上也试着运行。能否导出成果和对话,也是引入之前必须确认的事项。

工作场景

铭印印刷的询价回复试点

商业印刷企业“铭印印刷”的郑主任,收到负责人要求:“用数字说明引入AI有什么改善。”

郑主任首先向员工询问平时反复进行的工作,收集了六个候选任务。其中,“起草询价邮件的回复”每天会遇到30件以上,负责员工又能看过草稿之后进行修改,因此效果大、风险低。“客户信用评估”虽然效果也很大,但一旦出错就会对交易造成重大影响,因此风险高。郑主任选择询价回复作为第一个对象,并事先设定成功标准:每件完成时间缩短至少30%,重复咨询率不得上升。同时还规定了停止条件:只要有哪怕一封报价有误的回复发给客户,就停止。

在引入AI之前的两周里,郑主任测量了每件询价回复完成所需的时间,以及客户再次询问相同内容的比例。结果是平均每件12分钟,重复咨询率为18%。随后,他让三名员工试用了四周AI草稿。起初有人提议只测量生成草稿所需的时间,但郑主任采用的是把审核和修改草稿也计算在内的完成时间。结果是平均每件7分钟,重复咨询率为15%。有5%的草稿无法使用、需要从头重写,这部分所花的时间,也计入了平均值。

费用这样计算:人在界面直接使用,因此选择按席位订阅,将三人月订阅费与释放时间(每件5分钟×每月600件=每月50小时)并列。郑主任没有直接写成节省50小时人工费,而是同时报告:“其中30小时用于新客户咨询,20小时用于积压库存整理。”报告开头写的不是“员工满意度高”,而是“每件缩短5分钟、重复咨询率改善3个百分点、未触发停止条件”。负责人决定扩大询价回复应用,信用评估则先设计人工审核流程,再评估。

分享之桥选择首项引入工作

地方非营利组织“分享之桥”有五名全职工作人员,负责管理三千名捐助者。秘书长想尝试用AI处理三项工作,却在思考应该从哪一项开始。这三项工作分别是撰写公开活动通知、整理内部会议纪要,以及给每一名捐助者发送个性化的感谢信息。

秘书长把三项放在同一张表里。

工作 效果 信息风险 对外行动 判断
公开活动通知 中(每月2次) 低(公开信息) 人工审核后发布 第二顺位(频率低)
内部会议纪要 大(每周3次,每次40分钟) 中(内部讨论) 无 首个对象
个性化感谢信息发送 大 高(捐助者姓名、捐助记录) 大批量对外发送 暂缓

发送感谢信息看起来效果最大,但这项工作要处理捐助者的个人信息,而且会直接向几千人发送,一旦出错就无法撤回。一位理事提出:“应该从效果最大的工作开始,才能看出成效。”但秘书长认为,高风险工作必须先建立控制措施,因此决定暂缓。活动通知的风险虽然低,发生频率却也低,难以证明引入AI的效果。整理会议纪要则是经常重复的工作,人可以轻松核查,而且能够在组织批准的企业版环境中处理。

秘书长最终把会议纪要整理选为第一个对象,并记录过去一个月撰写纪要所花的时间,以及会后有人追问“当时到底决定了什么”的次数,作为基线。至于感谢信息,决定考虑去掉个人信息,只让AI制作文字模板,再由人填入姓名和捐助记录的方式,留待下一季度重新评估。

易错点

  1. “单价低,总成本就低。” 各模型切分token及生成输出、推理token的量不同,总成本可能不同。审核与返工时间也属于成本。
  2. “付了订阅,就能用其中额度调用API。” 聊天产品订阅与API使用遵循不同价格规则。
  3. “用得多就成功。” 用量只代表关注度,不是价值证据。
  4. “草稿生成快,工作就变快。” 应按包含审核、返工的完成全过程总时间判断。
  5. “省下多少时间,就省下多少费用。” 节省时间意味着释放出更多可用工时,需说明这些工时用在哪里,才体现真实价值。
  6. “先引入,以后再测。” 没有引入前基线,就无法证明效果。
  7. “从效果最大的工作开始。” 高效果但高风险,应先建控制。首例应选效果大、风险低的工作。
  8. “看结果再定停止标准。” 标准要在开始前确定,避免被既有投入牵着走。

要点速览

主题 核心 要记住的依据
计费方式 人使用选订阅,系统大批量调用选token计费 订阅与API价格规则不同
计费单位 席位、周期/输入、缓存、输出token,批处理折扣 订阅也有限额
总成本 同样100件总费用+准备、培训、运营、审核、返工 单价低,总成本仍可能高
用例选择 工作的一个步骤 频率、时间、标准化、审核、敏感度、可撤回性
风险 可能性、损害、发现难度、可撤回性 从效果大、风险低开始
指标 具体、可衡量、可实现、相关 时间与质量配对
基线 引入前相同指标的值 相同样本、期间、判定标准
陷阱 用量、生成时间、时间=成本 完成总时间、释放能力的用途
试点 候选→排序→标准与停止条件→基线→运行→比较决定 标准在开始前确定
治理 NIST AI RMF:GOVERN、MAP、MEASURE、MANAGE 先了解现状

查阅官方文档

自测

5-1. 用日常比喻说明订阅制与token计费,并写出各自适合的用途。

5-2. 写出好的引入效果指标的四个条件。

5-3. 没有基线就报告引入效果,会出现哪两个问题?

5-4. 写出评估业务风险时一起考虑的四个因素,并说明“经常出错但可能风险低”的工作应具备什么条件。

5-5. 对于“借助AI,员工每个月节省了40小时,因此减少了相当于40小时人工费的成本”这一报告,请指出其中的问题,并写出应该如何修改报告。

5-6. 引入AI三个月后的报告中,只列出了“每周活跃用户数”和“总提问次数”。仅凭这份报告,无法作出哪些判断?还应增加什么指标?

5-7. 选择自己团队一项工作,设计一页试点计划。必须包含目标工作步骤、基线、时间与质量指标、期间,以及扩大、修改、停止的条件。

实操练习

练习

一项工作的引入效果测量计划(60分钟)

  1. 选择团队一项重复工作,缩小到其中一个步骤。
  2. 分别用高、中、低评估效果及风险(错误可能性、损害规模、发现难度、可撤回性),写明依据。
  3. 确定两个成功指标:一个是完成全过程总时间,一个是质量(返工率、错误率等)。一并写出扩大、修改、停止条件。
  4. 接下来一周,记录不使用AI时的这些指标,形成基线。

完成标准: 已实际记录基线数字,两项指标符合四个条件,停止条件已在开始前写明。

练习

两种计费方式的总成本对照表(40分钟)

  1. 设定两项虚构工作:一项由10名员工每天在界面处理文档,另一项由系统每月大批量分类。
  2. 为每项工作列出订阅与token计费的成本项目(使用费、准备、培训、运营、审核、返工)。价格应查阅官方价格页面,并记录核实日期。
  3. 对token计费,实际运行几个代表任务,或查看用量界面的输入、输出token,估算100件总费用。
  4. 写出各项工作适合哪种方式及依据。

完成标准: 两项工作都有总成本对照表,至少包含一项使用费以外的成本;能按用户类型和处理量说明选择理由。