第 5 章 引入价值与组织视角
学习目标
- 说明订阅制与按token计费的差异,读懂计费表单位,按用途选择。
- 不只看单价,而是以包含准备、审核和返工的总成本及总时间,比较不同方案。
- 按效果与风险分类业务场景,选择首个引入对象。
- 用基线和可衡量指标展示引入效果,避免用量指标的陷阱。
- 说明试点顺序、扩大、修改、停止的标准,以及组织治理框架。
引言
经营家具工坊的负责人卓先生,在今年春天为全部十二名员工购买了AI付费订阅。三个月后,负责会计的员工问他:“每个月支付这笔费用后,我们的工作究竟有哪些改善?”卓先生却答不上来。员工们虽然说“工作方便了”,但究竟哪项工作加快了多少、错误有没有减少,却没有人说得清楚。十二名员工中,每周都会使用AI的只有四人。会计建议取消所有订阅,而经常使用AI的员工却认为需要购买更贵的套餐。由于缺乏相应的数字,无法判断双方的意见究竟哪一方更有道理。
问题不是AI没有用,而是没有选择用AI做什么,没有衡量引入前的状态,也没有定义什么算成功。因此,没有依据判断应继续、扩大还是停止。
本章从管理者的角度判断引入AI。先理解成本结构(订阅、token计费、总成本),再了解优先选择哪项工作的标准。随后讨论用数字体现效果的指标与基线、如何设计试点并作出结论,以及组织层面的运作框架。这些内容也适用于想向团队提议引入AI的一线人员,将AI运用能力中的委派与尽责扩展到组织层面。
核心概念
订阅制与按token计费:包月套餐与电费
AI费用主要有两种形式。
| 区分 | 订阅制(按席位) | token(用量)计费 |
|---|---|---|
| 比喻 | 手机包月套餐 | 用多少付多少的电费 |
| 主要使用者 | 人直接在界面操作 | 系统通过API自动调用 |
| 优点 | 按人数容易预测费用 | 随处理量增减 |
| 注意 | 不使用的席位也收费 | 用量增加,费用也增加 |
对于员工每天用来处理文档的工具,采用订阅制更易于预测费用;对于系统自动处理的大批量工作,按token计费往往更合适。还要记住,这两种计费体系相当于两个独立的钱包。OpenAI说明,订阅中包含的使用量与API使用量分别计算,API使用遵循其自身的价格规则;使用自己的API密钥时,同样适用API价格。
阅读计费表时应确认的单位
比较计费表,必须先统一单位。请确认以下项目。
| 检查项目 | 订阅制 | token计费 |
|---|---|---|
| 计费单位 | 每名用户,每月或每年 | 输入token、输出token(通常按每百万个) |
| 包含用量与限制 | 各功能用量上限、超额后如何处理 | 请求频率上限、月支出上限 |
| 单独收费项 | 高级功能、额外额度 | 缓存输入(复用反复发送的相同前缀、采用不同价格的输入)、工具使用、存储 |
| 折扣 | 年度合同、席位数量 | 时效要求较低的批处理 |
| 合同条件 | 最低席位数、解约条件 | 币种、税费、付款方式 |
这里还需要补充两点。第一,采用订阅制,并不意味着所有功能都可以无限使用。多数套餐都会为各项功能规定使用上限。第二,即便采用token计费,也并不是只有一种单价。OpenAI说明,输入token、缓存输入token和输出token的价格可能不同,并提供一种批处理方式,让不需要即时回答的任务以比普通调用低50%的价格完成。具体价格经常变化,因此在作出决定之前,应再次查看官方价格页面。
看总成本,而不只看单价
OpenAI说明,每百万token价格低,不代表总成本低。不同模型把相同文字切成的token数不同,生成的输出和推理token数量也不同(推理token是第1章所述的回答前内部使用、按输出收费的token)。因此,它建议用自己工作的代表任务实际运行结果比较,而不只看可见答案长度。
要点
请按“处理同样100项工作的总费用”比较成本。只看单价,使用大量推理token的模型可能带来远超预期的账单。
还要加上人的成本。引入AI的总成本不只是使用费。
- 准备成本:整理资料、编写指令与模板、制作检查案例。
- 培训成本:培训员工、编写使用指南。
- 运营成本:管理员设置、权限管理、政策更新。
- 审核成本:检查和修改结果的时间。
- 返工成本:结果无法使用、从头重做的时间。
使用费便宜的工具,审核与返工多,也会变贵。简单表达为“总成本=使用费+准备、培训、运营成本+(审核时间+返工时间)×每小时人工成本”。
用例选择标准:选择工作中的一个步骤
“在销售岗位引入AI”这样的目标,范围过大,无法验证。应选择工作中的一个步骤,而非整个岗位。以销售为例,可以拆分为收集资料、起草提案、起草客户问题的答复、审阅合同条件等步骤,再从中选择一个,作为第一个引入AI的对象。
好的初始候选具备以下条件。
| 标准 | 要问的问题 |
|---|---|
| 频率 | 是否经常重复 |
| 投入时间 | 当前是否耗时很多 |
| 标准化 | 结果格式和标准是否明确 |
| 可审核性 | 人能否快速核查结果 |
| 资料敏感度 | 敏感信息是否少,或可最小化 |
| 可撤回性 | 出错后是否容易修正 |
比起演示中引人注目的工作,每周反复出现、人容易核查的工作,更能持续积累价值。
按效果与风险分类
把候选工作按效果(节省时间、提高质量)与风险分类,就能看出优先级。
| 低风险 | 高风险 | |
|---|---|---|
| 效果大 | 优先开始 | 先建立控制措施,再谨慎推进 |
| 效果小 | 有余力时尝试 | 暂缓 |
风险不宜简化为一个数字,应看四个因素的组合。
- 错误可能性:AI在这项工作中的出错频率。
- 损害规模:一次错误会造成多大损害。
- 发现难度:人是否容易察觉错误。
- 可撤回性:错误结果是否可以撤回。
经常出错但一眼可见、容易修正的工作,可能风险低;很少出错但难发现、对外产生无法撤回影响的工作,风险可能高。“效果大、风险低”通常包括会议纪要整理、内部咨询分类、草稿撰写。第4章高风险领域的决定,即使效果大,也应先设计人工审核流程。
与不使用AI的改进方法比较
并非所有问题都应该用AI来解决。如果是文档格式各不相同,导致处理耗时,那么制定一份标准模板,可能就足以解决问题;如果同样的问题反复被提出,那么先整理好一个说明页面,可能更有必要。评估是否引入AI时,应把“不使用AI也能作出的改进”纳入比较对象。先排除通过改进现有模板、使用普通搜索和计算工具、梳理业务规则就能解决的部分,之后仍然存在的价值,才是AI真正能够贡献的价值。Anthropic在设计智能体时建议先寻找尽可能简单的方案,也是同样的道理。
好的引入效果指标的四个条件
Anthropic通过以下四个条件,说明怎样才算好的成功标准。
- 具体:说明要实现什么,如“准确分类咨询”,而不是“良好成效”。
- 可衡量:使用数字或能一致应用的评价量表。
- 可实现:参照行业标准、既有实验和专家知识,设定现实目标。
- 相关:指标应符合业务目的和用户需求。
Anthropic还解释说,在大多数情况下,成功标准应当包含多个维度,而不只是一个。只测量处理时间,就可能漏掉质量已经下降的情况;只测量质量,则可能忽略成本已经增加。衡量AI引入效果时,基本做法是把时间与质量配对测量。
基线与测量设计
基线是指在引入AI之前,对同一个指标测量得到的数值。如果没有基线,就无法证明“情况变好了”。OpenAI同样建议,将改进提示词阶段建立的评估集,作为今后比较时的基线。设计测量方案时,需要确定以下事项。
- 测什么:指标定义与分母(每件还是每天)。
- 何时测、测多久:在引入前后的对比周期内,季节和工作量应相近。
- 用什么样本:难度相近,不只挑简单任务。
- 谁按什么标准判断质量:使用同一标准表、同一评判者。
- 如何记录例外:单独保留失败案例和人工重做案例。
指标类型与陷阱
| 指标类型 | 例子 | 局限 |
|---|---|---|
| 成效指标 | 每件完成时间、按期完成率 | 必须有基线 |
| 质量指标 | 返工率、错误率、审核通过率 | 必须固定判定标准 |
| 使用指标 | 请求次数、活跃用户数 | 用得多不代表有价值 |
| 产出指标 | 制作文档数 | 数量不等于成果 |
| 感受指标 | 满意度调查 | 仅作辅助资料 |
常见陷阱有三种。
- 把用量当成成效:登录或提问增加,只代表关注度,不是价值证据。
- 只测生成时间:草稿一分钟生成,审核和修改却很久,工作并没有变快。应测从准备资料到批准、交付的完成全过程总时间,也包括无法使用、从头重做的时间。
- 把节省时间直接算成降低成本:员工完成工作的时间减少,并不等于组织的实际支出随之减少。省下的时间是“释放出的可用工时”,还需要单独说明这些工时用于何处,例如处理更多业务、减少外包或开展新工作,才能体现实际价值。同时,应注意避免把同一项收益重复计算两次。
试点顺序与扩大、修改、停止标准
试点是先在一个小范围内进行试验性运行。为了确认引入AI的效果,需要按照下面的顺序推进。由于每个步骤都把前一步骤的结果作为输入,所以很难任意改变这个顺序。
- 收集候选工作。
- 按效果与风险排序,选首个对象。
- 提前确定成功标准与停止条件。
- 测量所选工作的当前值,建立基线。
- 小规模试点,用相同方式重新测量。
- 对照两组数据,决定扩大、修改或停止。
用于作出决定的标准,必须在开始试点之前就确定下来。如果等开始之后再制定标准,就容易因为已经付出的努力,而倾向于对结果作出过于乐观的解释。
| 决定 | 条件示例 |
|---|---|
| 扩大 | 时间和质量指标均达到预定标准,且无重大错误、安全或个人信息事故 |
| 修改 | 只有一个指标达标,或发现可修正的原因(指令、资料、模型档位) |
| 停止 | 触发停止条件(重大错误已对外发出、敏感信息事故、总时间增加) |
不要把小规模试点得出的结果,直接照搬到整个组织。少数热情积极的员工取得的结果,未必意味着所有人都能够获得同样的效果。
组织视角:治理与能力
当引入AI超出了个人使用技巧的范围,成为整个组织的工作时,就需要一套运营框架。美国国家标准与技术研究院(NIST)的AI风险管理框架(AI RMF 1.0),是一套供组织自愿采用的框架,其核心分为以下四项功能。
| 功能 | 作用 | 用业务语言表达 |
|---|---|---|
| GOVERN(治理) | 建立风险管理文化、流程和责任,贯穿所有功能 | 谁负责,按什么规则使用 |
| MAP(了解情境) | 确定AI系统风险所处的背景 | 哪里用什么AI,危险是什么 |
| MEASURE(测量) | 分析、评估和监测风险 | 表现多好,多常出错 |
| MANAGE(管理应对) | 配置风险应对资源,处理事故并恢复 | 出问题怎么办,何时修改或关闭 |
NIST于2024年发布了针对生成式AI风险的生成式AI风险概况文件(NIST AI 600-1)。即使小组织,把这四项功能填成一页表,也能看出缺口。尤其当存在公司不知情的AI工具使用(通常称为影子AI)时,应先摸清现状,再测量与应对。
人员具备的能力,同样是运营框架的一部分。本书使用说明中介绍的四项AI运用能力,即委派、描述、辨别和尽责,也可以作为设计培训课程的依据。应当均衡地教授如何决定把哪些工作交给AI、如何有效下达指令、如何评价结果,以及如何负责任地使用AI。只有这样,引入AI才不会仅仅停留在少数人掌握的技巧上。
深入阅读
引入后却没人使用怎么办
如果已经分发了使用许可,实际使用的人却很少,原因往往在于员工“不知道怎样把它用于自己的工作”,而非工具本身。在这种情况下,继续购买更多许可,或者强迫员工使用,效果都不大。下面这些方法会更加有效。
- 展示各项工作的用法。 “我们团队这样缩短周报耗时”的具体案例,比一般功能介绍更能打动人。
- 共享验证过的模板。 把第2章制作的模板和检查案例作为团队资产分享。
- 各部门安排辅导人员。 由先行熟悉工具的员工担任同事的答疑联络人。
- 回应担忧。 对岗位的担忧也会阻碍使用。应明确:目的是减少重复劳动,把时间用于判断和服务客户;结果责任仍由人承担。
使用率作为辅助指标,有助于观察AI在组织中已经普及到什么程度,但它不应当成为引入AI本身的目标。
避免绑定单一供应商
如果把组织的整套工作流程,都深度适配到某一家公司的某一款产品、某一个功能上,那么一旦该产品的价格、功能或政策改变,整个工作流程也会随之受到影响。这种状态称为供应商锁定。正如第3章所介绍的,产品的名称和形态,甚至在短短几个月内就可能发生变化。
虽然无法完全避免这种依赖,但可以采取一些方法减轻冲击。把指令和检查案例作为文档保存在产品之外;将业务资料的原件留在公司系统中,只让AI连接原件或使用副本;对于重要业务,事先做好准备,使其能够选用代表性案例,在其他产品上也试着运行。能否导出成果和对话,也是引入之前必须确认的事项。
工作场景
铭印印刷的询价回复试点
商业印刷企业“铭印印刷”的郑主任,收到负责人要求:“用数字说明引入AI有什么改善。”
郑主任首先向员工询问平时反复进行的工作,收集了六个候选任务。其中,“起草询价邮件的回复”每天会遇到30件以上,负责员工又能看过草稿之后进行修改,因此效果大、风险低。“客户信用评估”虽然效果也很大,但一旦出错就会对交易造成重大影响,因此风险高。郑主任选择询价回复作为第一个对象,并事先设定成功标准:每件完成时间缩短至少30%,重复咨询率不得上升。同时还规定了停止条件:只要有哪怕一封报价有误的回复发给客户,就停止。
在引入AI之前的两周里,郑主任测量了每件询价回复完成所需的时间,以及客户再次询问相同内容的比例。结果是平均每件12分钟,重复咨询率为18%。随后,他让三名员工试用了四周AI草稿。起初有人提议只测量生成草稿所需的时间,但郑主任采用的是把审核和修改草稿也计算在内的完成时间。结果是平均每件7分钟,重复咨询率为15%。有5%的草稿无法使用、需要从头重写,这部分所花的时间,也计入了平均值。
费用这样计算:人在界面直接使用,因此选择按席位订阅,将三人月订阅费与释放时间(每件5分钟×每月600件=每月50小时)并列。郑主任没有直接写成节省50小时人工费,而是同时报告:“其中30小时用于新客户咨询,20小时用于积压库存整理。”报告开头写的不是“员工满意度高”,而是“每件缩短5分钟、重复咨询率改善3个百分点、未触发停止条件”。负责人决定扩大询价回复应用,信用评估则先设计人工审核流程,再评估。
分享之桥选择首项引入工作
地方非营利组织“分享之桥”有五名全职工作人员,负责管理三千名捐助者。秘书长想尝试用AI处理三项工作,却在思考应该从哪一项开始。这三项工作分别是撰写公开活动通知、整理内部会议纪要,以及给每一名捐助者发送个性化的感谢信息。
秘书长把三项放在同一张表里。
| 工作 | 效果 | 信息风险 | 对外行动 | 判断 |
|---|---|---|---|---|
| 公开活动通知 | 中(每月2次) | 低(公开信息) | 人工审核后发布 | 第二顺位(频率低) |
| 内部会议纪要 | 大(每周3次,每次40分钟) | 中(内部讨论) | 无 | 首个对象 |
| 个性化感谢信息发送 | 大 | 高(捐助者姓名、捐助记录) | 大批量对外发送 | 暂缓 |
发送感谢信息看起来效果最大,但这项工作要处理捐助者的个人信息,而且会直接向几千人发送,一旦出错就无法撤回。一位理事提出:“应该从效果最大的工作开始,才能看出成效。”但秘书长认为,高风险工作必须先建立控制措施,因此决定暂缓。活动通知的风险虽然低,发生频率却也低,难以证明引入AI的效果。整理会议纪要则是经常重复的工作,人可以轻松核查,而且能够在组织批准的企业版环境中处理。
秘书长最终把会议纪要整理选为第一个对象,并记录过去一个月撰写纪要所花的时间,以及会后有人追问“当时到底决定了什么”的次数,作为基线。至于感谢信息,决定考虑去掉个人信息,只让AI制作文字模板,再由人填入姓名和捐助记录的方式,留待下一季度重新评估。
易错点
- “单价低,总成本就低。” 各模型切分token及生成输出、推理token的量不同,总成本可能不同。审核与返工时间也属于成本。
- “付了订阅,就能用其中额度调用API。” 聊天产品订阅与API使用遵循不同价格规则。
- “用得多就成功。” 用量只代表关注度,不是价值证据。
- “草稿生成快,工作就变快。” 应按包含审核、返工的完成全过程总时间判断。
- “省下多少时间,就省下多少费用。” 节省时间意味着释放出更多可用工时,需说明这些工时用在哪里,才体现真实价值。
- “先引入,以后再测。” 没有引入前基线,就无法证明效果。
- “从效果最大的工作开始。” 高效果但高风险,应先建控制。首例应选效果大、风险低的工作。
- “看结果再定停止标准。” 标准要在开始前确定,避免被既有投入牵着走。
要点速览
| 主题 | 核心 | 要记住的依据 |
|---|---|---|
| 计费方式 | 人使用选订阅,系统大批量调用选token计费 | 订阅与API价格规则不同 |
| 计费单位 | 席位、周期/输入、缓存、输出token,批处理折扣 | 订阅也有限额 |
| 总成本 | 同样100件总费用+准备、培训、运营、审核、返工 | 单价低,总成本仍可能高 |
| 用例选择 | 工作的一个步骤 | 频率、时间、标准化、审核、敏感度、可撤回性 |
| 风险 | 可能性、损害、发现难度、可撤回性 | 从效果大、风险低开始 |
| 指标 | 具体、可衡量、可实现、相关 | 时间与质量配对 |
| 基线 | 引入前相同指标的值 | 相同样本、期间、判定标准 |
| 陷阱 | 用量、生成时间、时间=成本 | 完成总时间、释放能力的用途 |
| 试点 | 候选→排序→标准与停止条件→基线→运行→比较决定 | 标准在开始前确定 |
| 治理 | NIST AI RMF:GOVERN、MAP、MEASURE、MANAGE | 先了解现状 |
查阅官方文档
- OpenAI — Understanding and counting tokens:各类token价格、总成本优先于单价。
- OpenAI — ChatGPT Work and Codex:订阅用量与API价格规则的区别。
- OpenAI — Batch API:非紧急大批量任务的折扣与处理时间。
- Anthropic — Define success criteria and build evaluations:成功标准四条件、多维度标准。
- NIST — AI Risk Management Framework:AI RMF 1.0与生成式AI配置文件概要。
- NIST — AI RMF Core:四项功能说明。
- Anthropic — The AI Fluency Framework:委派、描述、辨别、尽责的定义。
自测
5-1. 用日常比喻说明订阅制与token计费,并写出各自适合的用途。
5-2. 写出好的引入效果指标的四个条件。
5-3. 没有基线就报告引入效果,会出现哪两个问题?
5-4. 写出评估业务风险时一起考虑的四个因素,并说明“经常出错但可能风险低”的工作应具备什么条件。
5-5. 对于“借助AI,员工每个月节省了40小时,因此减少了相当于40小时人工费的成本”这一报告,请指出其中的问题,并写出应该如何修改报告。
5-6. 引入AI三个月后的报告中,只列出了“每周活跃用户数”和“总提问次数”。仅凭这份报告,无法作出哪些判断?还应增加什么指标?
5-7. 选择自己团队一项工作,设计一页试点计划。必须包含目标工作步骤、基线、时间与质量指标、期间,以及扩大、修改、停止的条件。
实操练习
练习
一项工作的引入效果测量计划(60分钟)
- 选择团队一项重复工作,缩小到其中一个步骤。
- 分别用高、中、低评估效果及风险(错误可能性、损害规模、发现难度、可撤回性),写明依据。
- 确定两个成功指标:一个是完成全过程总时间,一个是质量(返工率、错误率等)。一并写出扩大、修改、停止条件。
- 接下来一周,记录不使用AI时的这些指标,形成基线。
完成标准: 已实际记录基线数字,两项指标符合四个条件,停止条件已在开始前写明。
练习
两种计费方式的总成本对照表(40分钟)
- 设定两项虚构工作:一项由10名员工每天在界面处理文档,另一项由系统每月大批量分类。
- 为每项工作列出订阅与token计费的成本项目(使用费、准备、培训、运营、审核、返工)。价格应查阅官方价格页面,并记录核实日期。
- 对token计费,实际运行几个代表任务,或查看用量界面的输入、输出token,估算100件总费用。
- 写出各项工作适合哪种方式及依据。
完成标准: 两项工作都有总成本对照表,至少包含一项使用费以外的成本;能按用户类型和处理量说明选择理由。