第 4 章 AI内容成效衡量

学习目标

• 将成效衡量的设问转换为可实验的形式，明确核心指标的定义（分子、分母、单位）与基准线。
• 通过随机分组与同期对比，设计公平对比AI内容与人工内容的实验。
• 阐述根据显著性水平、统计功效、拟检测的最小差异来确定样本量大小的原理。
• 识别反复查看、样本比例失配、多重比较、新奇效应、忽视护栏指标等测量偏差。
• 根据标准的性质选择代码评分、人工评分或LLM评分，并预先验证LLM评分的可靠性。
• 修改成效报告中的夸大解读，使其收敛在实际测量的范围之内。

引言

“换成AI文案后，点击率提升了40%。”这样的汇报往往能瞬间点燃会议室的气氛。然而，只要追问几个问题，气氛就会截然不同：这是对比了上月与本月，还是在同一时期分流发送的？点击率是用什么作为分母计算的？这期间是否有打折促销活动？发送给了多少人，又是在何时查看的结果？退订情况如何？

AI让无限生成内容成为可能，甄别“究竟哪一个更优秀”也因此变得至关重要。然而，若衡量方法欠妥，不仅会夸大引入AI的效果，反过来还可能错失其实际成效。更为危险的是，错误的衡量会导致错误的学习：如果把偶然胜出的文案当作“标准答案”来编写下一个提示词，整个组织就会被偶然性牵着鼻子走。

成效衡量还与法律息息相关。发送给实验组的信息同样属于广告；退订增加会导致产生无法再次触达的客户；而在质量评估中使用客户数据则属于个人信息处理。因此，本章的衡量原则建立在第1章与第3章的规则基础之上。

本章将探讨实验的基本规范（设问、指标、基准线、随机分组）、最基本的统计学概念（显著性水平、统计功效、样本量）、工作中常见的测量偏差，以及评估AI内容质量的方法。内容以实际判断为核心而非纠缠于公式，并且仅阐述可通过官方文档核实确认的原则。

核心概念

想要证明什么

衡量始于提问。“AI文案好不好？”并非一个可供实验的设问。若将其改造成可实验的形式，则是：“在同一时期针对同一客户群体发送的App推送中，AI撰写的文案是否比原有文案更能提高7天内的购买转化率？”

一个优秀的实验设问包含四个要素：

核心指标应在实验前确定为单一指标。如果在实验结束后才从多项指标中挑选表现较好的指标，那便不再是衡量，而是事后归因解读。

指标定义：分子、分母、单位

名称相同的指标，若定义不同也无法进行比较。以点击率为例，分母究竟是“发送量”还是“打开量”，其计算结果可能会相差数倍。按打开量计算的点击率只将已表现出兴趣的人计入分母，因此数值会高于按发送量计算的点击率。

单位也必须保持一致。Statsig文档指出，随机分组的单位（用户、设备等）在相同取值下应始终展示相同的实验变体，且该单位即为指标的基准单位。若按人员单位进行分组，则指标也应按人汇总并进行对比。此时，“点击人数比例”是将同一人的重复点击计为一次，而“人均点击量”则统计所有的重复点击。两者均可使用，但必须预先明确选择哪一种，并对两个群体应用完全相同的定义。

基准线与成功标准

基准线是对比的起点，即当前的实际表现。Claude评估文档建议将成功标准设定得具体、可衡量且可达成，并以较当前基准线提升一定比例为例。基准线主要有两大用途：

1. 样本量计算：原有的转化率是2.0%还是10%，要检测出相同的提升幅度所需的样本量完全不同。
2. 决策标准：预先设定“相比基准线提升多少才值得切换”。

需要注意的是将基准线直接当作对比对象的做法。“上月的成效是基准线，所以拿来和本月的AI文案成效做对比”这种实验设计，会让人把两个月之间发生变化的所有因素（季节、活动、价格、竞争格局）都误以为是AI文案的效果。

随机分组与同期对比

公平对比的核心，在于确保两组人群除文案之外在所有方面均保持一致。实现这一目标的方法便是随机分组。Statsig文档指出，将用户划分为对照组和一个或多个处理组，分别向其展示不同的变体，通过随机分组使各组具有均衡的代表性，以此来比较各变体的表现成效。

随机分组所守护的是不可见的差异。如果向VIP会员发送AI文案，向普通会员发送人工撰写的文案，购买力的差异就会被误当作文案的效果。如果在晚间发送AI文案，在上午发送人工撰写的文案，时段效应就会混杂其中。只有进行随机分组并在同一时间、通过相同渠道发送，这些潜在差异才能均匀分散在两组之中。

一次只改变一个变量

Statsig文档建议在A/B测试中不要在单个实验中引入两个以上的变量。在AI文案实验中，常见的混杂变量包括：

• 在改变文案的同时，还更换了配图、优惠券面额或发送时间
• 仅在AI文案一侧引入个性化数据（此时对比的并非“AI对比人工”，而是“个性化对比非个性化”）
• 将AI文案通过新渠道（如App推送）发送，而人工撰写的文案则通过原有渠道（电子邮件）发送

请首先明确想要对比的是什么。若想观察“AI撰写的文案本身”的效果，就必须填入相同的信息，仅改变撰写主体；若想观察“AI个性化营销活动整体”的效果，则必须将这一整套组合定义为单项处理，并据此进行汇报。

显著性水平、统计功效、样本量

统计检验中存在两类错误风险。NIST/SEMATECH统计手册对此解释如下：把实际上没有差异的情况断定为存在差异的风险称为α（显著性水平），检验的设计旨在尽可能降低这种风险；把实际上存在差异的情况未能检测出来的风险称为β，该风险由实际差异的大小等因素决定，在样本量相同的情况下，α越小，β就越大。1−β被称为统计功效。增加样本量可以同时降低这两种风险。

在解读结果时，还需要了解两项常用工具。p值是指在假设实际不存在差异的前提下，出现当前这样（或更为极端）差异的概率，若小于α则判定为显著。置信区间表示实际差异可能存在的范围，若两组差异的95%置信区间不包含0，则认为在5%的显著性水平下结果显著。

样本量由这两种风险与拟检测的最小差异（δ）决定。在NIST手册的示例中，当试图通过单侧检验、α 5%、β 10%来检测不良率从10%上升至20%的变化时，计算出的最小样本量约为102个，若进行连续性校正则为112个。该示例是将某一工序的不良率与基准值进行比较的单样本检验。而比较两组人群的A/B实验由于同时反映了两组人群的波动，因此即便在相同条件下也需要更多的样本。该示例带来了三点直观启示：

1. 拟检测的差异越小，所需的样本量就越大。样本量大致与拟检测差异（δ）的平方成反比，因此若将拟检测差异缩小一半，所需的样本量将接近原先的四倍。
2. 在基准值较低的指标（转化率2%）中，若想捕捉微小的提升（0.2%p），每个组可能需要数万人级别的样本。
3. 样本量不足的实验中得出的“不显著”，并不意味着“没有效果”，而是“缺乏足以判断的依据”。

反复查看与序贯检验

实验一旦开始，人们往往忍不住每天查看结果。问题在于根据这些中间结果草率做出决策。Statsig文档指出，传统的A/B测试（针对转化率等比率指标主要使用z检验，针对销售额等连续型指标主要使用t检验）是设计为在达到预定样本量时仅进行一次判定的固定样本（fixed-horizon）检验，持续偷看结果（peeking）会使假阳性率高于预设的显著性水平。在频率学派流程中，过早决策只会导致假阳性率上升。

解决方案有两种：要么推迟得出结论，直到达到预先计算的样本量；要么从一开始就采用专为反复查看而设计的序贯检验（sequential testing）。序贯检验会对p值与置信区间进行调整，以便可以在较早的时间节点解读结果。查看中间结果本身并无大碍，排查数据是否出现异常甚至是非常必要的。真正的问题在于，依据固定样本检验的中间结果来判定胜者。

样本比例失配（SRM）

如果按50:50划分，但实际人数却呈现为41:59，那么在解读结果之前必须立即叫停。Statsig文档将样本比例失配（Sample Ratio Mismatch，SRM）定义为各组人数与预设比例之间的差异超出了随机波动可解释的范围，并指出可通过卡方检验来进行排查。SRM通常并非随机产生，漏掉或多出的人员与原始群体并不具备相同的同质性。

该文档列举的可能原因包括：在发送展示日志之前App或浏览器发生崩溃的Bug、仅在特定组别中过滤展示的条件、按组别依次发送展示日志且超过一定数量后日志被截断的脚本等。如果是在AI文案实验中，还可能是仅在某一变体中遗漏了特定设备或App版本的展示记录。在查明原因之前，切勿将实验结果用于得出最终结论。

多重比较

假设用AI生成了12个文案变体，并分别与原有文案进行对比，结果发现其中有一个变体呈现显著差异。NIST手册指出，若对所有可能的配对重复执行比较程序，整体显著性水平就会与仅比较单对时发生偏离。比较的次数越多，纯粹因巧合而出现某个“显著”结果的概率就会变得越大。

应对方法有三种：在实验前减少并锁定待比较的对象；结合比较次数对显著性水平进行校正（手册介绍了针对预设对比的邦弗朗尼校正法等，邦弗朗尼法是指通过将整体显著性水平除以比较次数，从而使每次比较的标准更为严格）；以及通过新的实验对胜出的变体重新进行验证。AI越是能够轻松生成大量变体，这一问题就越发凸显。

新奇效应与实验周期

新文案或新横幅起初可能因好奇心而引发强烈反应，但随着时间推移反应可能会逐渐减弱。这种现象被称为新奇效应（novelty effect）。Statsig文档建议，考虑到新奇效应与适应时间，应将实验运行更长的时间。

判断的方法在于观察趋势而非平均值。如果按周计算的相对增长率呈现35%、14%、6%、2%的递减趋势，那么4周平均14%可能会高估长期效果。由于每周的数据同样存在不确定性，因此需要将趋势与置信区间结合起来查看。请将实验周期延长至效果趋于平稳的水平，或以该平稳水平为基准来进行判断。

护栏指标

护栏指标（guardrail metric）是用来监测在拉升核心指标的同时是否损害了业务健康度的指标。Statsig术语表将护栏指标解释为旨在衡量并维持业务健康度而设计的指标。

在AI营销中，典型的护栏指标包括退订率、关闭App通知比例、垃圾信息投诉、退货率、客户咨询增加量、违背品牌调性比例。实验前须为各项护栏指标设定容许上限。尤其是退订率具有重大的法律意义。根据韩国《信息通信网法》第50条第2款规定，不得向已明确表示拒绝接收的人再次发送广告，因此退订的增加意味着在重新获得明示同意之前广告触达范围被缩减的代价。如果博眼球的AI文案在提升点击率的同时也推高了退订率，绝不能仅凭点击率就拍板切换。

统计显著性与商业意义

当样本量极大时，哪怕极其微小的差异在统计学上也可能变得显著。如果向100万人发送后点击率仅高出0.03%p且结果显著，这种差异仅仅意味着“不太可能是巧合”，并不代表“值得做出改变”。必须将效果的大小与AI文案的生成与审核成本、运营风险等结合起来综合考量。

因此，在实验前明确在商业上有意义的最小差异至关重要。该数值将作为样本量计算中的δ，并成为解读结果时的判断标准。

AI内容质量评估：代码、人工、LLM

成效实验衡量的是客户反应，而质量评估衡量的则是内容本身是否符合标准。如果AI每周生成数千条文案，质量评估也必须具备相应的规模承载力。Claude评估文档将评分方法分为三类：

文档列举了三条LLM评分技巧：提供详尽而明确的评分规则（Rubric）；要求输出诸如“通过/不通过”或1~5分等具体格式；让评分模型在给出分数之前先展开推理。此外，文档还将“使用与生成评估结果不同的模型来进行评估”列为通用的最佳实践。这是因为，若由同一个模型来给自己的文案打分，很容易陷入相同的认知误区并重复犯错。

修改成效报告

报告中的夸大往往表现为五种形式：

原则是“仅在所衡量的指标、对象、周期范围之内得出结论”。未经验证的内容据实写明“尚未得到证实”，这才是诚实的汇报。

深入阅读

“AI对比人工”比较的是什么

在实际工作中，“AI文案对比人工文案”实验的定义远比想象中更加困难。如果由人工修改了AI初稿，那它究竟算AI文案还是人工文案？如果更改了提示词，即使同属“AI文案”，也是不同的干预措施。即便是人工文案撰写人，每次产出的质量也并不相同。

因此，在设计实验时，最好将干预措施定义为工作方式。例如，可以表述为“由AI根据品牌指南 v3 指令撰写、并由负责人仅核对事实主张的文案”对比“文案撰写人从头独立撰写的文案”。在实验结果中，不仅要记录对文案的反应，还必须一并记录制作时间、审核成本和保护指标，这样才能为决策提供依据。即使AI文案的用户反应相同，只要制作成本减半，这也同样是一个有意义的结论。

个性化内容的实验单位

当AI针对不同客户生成不同文案时，“文案A对比文案B”这种对比便不再成立。此时所比较的不是单个具体文案，而是文案的生成方式（策略）。实验组为“接收按个性化策略生成文案的用户”，对照组为“接收通用文案的用户”，而分配单位则是人。

在这种设计中需要注意两点。第一，由于实验组内部的文案各不相同，因此无法通过该实验得知“究竟是哪一句话起到了效果”。第二，由于用于个性化的数据本身就是干预措施的一部分，因此必须对整个实验组确认使用该数据的依据（第3章）。

实验同样是广告与个人信息处理

向实验组发送的消息同样属于广告。并不能仅仅因为是实验，就能免除韩国《标示广告法》规定的举证义务或韩国《信息通信网法》规定的发送规则。如果想要“测试”更大胆激进的文案，该文案中包含的事实主张必须已经能够得到实证证明，且必须针对每位实验对象确认接收同意或交易往来等法定例外情形，并遵守各类媒介的夜间发送规则。如果在分析实验数据时将客户信息移交给外部工具，则应明确区分属于委托处理还是向第三方提供，并适用相应要求，同时确认是否存在跨境传输。测量的严密性与法律的合规性必须同时写在同一份计划书中。

工作场景

一口贝果：App推送文案实验

贝果连锁品牌“一口贝果”的App营销人员想测试AI撰写的早间推送文案。最初的提议是“从下周一开始向全体会员发送AI文案，并与上周的成效进行对比”。数据负责人指出下周恰逢新菜单上线，因此否决了跨时段对比的方案。

两人共同撰写了实验计划书。实验对象定为最近60天内打开过App的会员，按会员为单位进行50:50随机分配，发送时间统一设在同一天的同一时刻（上午8点30分，即晚上9点至次日上午8点的夜间限制时段结束之后）。核心指标仅设定一项：发送后截至当天上午11点的移动端订单转化率（以发送量为基准）；同时将退订率和关闭App通知比例设为保护指标。原转化率为3.2%，团队认为若能提升0.4个百分点以上便值得更换。根据这些数值计算出所需样本量后，将实验周期定为2周。

实验进行到第三天，AI文案组的转化率达到了4.1%，处于领先地位，团队主管便希望提前终止实验。数据负责人解释道，如果在中途停止固定样本设计，会增加假阳性风险，因此仅检查了分配比例是否符合50:50。检查结果显示比例正常。2周后的最终结果为：转化率提升0.5个百分点（置信区间不包含0），退订率无显著差异。报告中一并记录了“针对最近60天活跃会员、为期2周实验”的有效范围以及按周变化的趋势（成效在2周内持续保持）。至于将AI一同生成的8个变体一次性全部进行测试的提议，则因多重比较问题推迟到了下一次实验。

连接旅行：在邮件通讯文案中引入LLM评分

旅游平台“连接旅行”每周使用AI生成2000条邮件通讯标题与简介文案，以往由两位品牌负责人仅抽样阅读其中的200条。负责人希望通过LLM对其余文案也进行评分。

他们首先划分了标准。“是否包含禁用表述（保证最低价、100%退款等）”与 “标题是否在40字以内”则通过代码进行检查。 “是否符合品牌调性”与“是否存在夸大承诺”由于需要进行判断，被定为LLM评分对象。负责人将品牌调性细化为评分量表，以便区分“通过/不通过”。具体条款包括“不对读者使用非敬语”、“每句感叹词不超过一个”、“不使用未核实的数据”等。

接着，他们使用相同的评分量表对两位负责人此前已评分的400条文案运行了LLM评分。首次尝试的一致率为81%。查看不一致案例后发现，评分量表中的“夸大”条款不够明确。补充示例修改该条款后，一致率提升至93%，超过了团队预设的标准（90%）。在绝大多数判定为通过的数据中，即便全部简单判为“通过”，一致率也可能显得很高；因此，负责人单独核实了人工判定为“不通过”的文案中LLM同样判定为不通过的比例（87%）。至此，团队才将LLM评分正式应用到全部2000条文案中，并且评分时使用了与生成文案不同的模型。同时还制定了规则：每月由负责人对100条随机抽样样本重新评分，检查一致率是否出现下滑。至于从一开始就全面推广的意见，以及让生成文案的模型自行评分的意见，则分别因“在验证可靠性前盲目扩大规模”和“自我评估存在风险”而被否决。

易错点

1. “将上个月与这个月进行对比就能看出AI的成效。” 两个时段之间发生的所有其他变化都会混杂在一起。必须在同一时期内随机分组并同时进行比较。
2. “点击率就是点击率。” 分母（发送、阅读）与单位（人、点击）不同就无法进行比较。
3. “中途如果得出显著结果就可以提前结束。” 若中途查看固定样本检验并做决定，会增加假阳性。应采用序贯检验，或耐心等待达到预先规划的样本量。
4. “如果不显著就说明没有效果。” 如果样本量不足，即使实际有效也无法检验出来。请根据想要捕捉的差异重新计算样本量。
5. “即使分配比例略有偏差，结果依然可用。” 分配比例不匹配是存在未知偏差的信号。在查明原因之前，不可将其用于得出结论。
6. “生成的变体越多，越能找到优质文案。” 比较次数越多，越容易产生偶然的“赢家”。必须进行校正或重新验证。
7. “只要统计学上显著，就值得做出改变。” 在大样本下，极其微小的差异也会显得显著。应结合效应量与成本综合考量。
8. “LLM评分和人工一样准确，可以直接全面应用。” 应先提供评分量表并验证与人工评分的一致性后再扩大范围，且不可让负责生成的模型来对自身的结果进行评分。

要点速览

查阅官方文档

• NIST/SEMATECH e-Handbook — 7.1.3 What are statistical tests?：α与β的含义及关系。
• NIST/SEMATECH e-Handbook — 7.2.4.2 Sample sizes required：利用拟捕捉的变化δ、α、β计算样本量的示例。
• NIST/SEMATECH e-Handbook — 7.4.7 How can we make multiple comparisons?：反复比较改变整体显著性水平的问题及校正方法。
• Statsig Docs — Experiments Overview：对照组与实验组、随机分配、分配单位、一次仅改变一个变量。
• Statsig Docs — Sequential testing：固定样本检验与反复偷窥（peeking）问题、序贯检验。
• Statsig Docs — Sample ratio mismatch：分配比例不匹配的定义、检测与原因。
• Statsig Docs (legacy) — Experiments Overview：新奇效应与实验周期。
• Claude Docs — Define success criteria and build evaluations：成功标准，代码、人工、LLM评分的优缺点，LLM评分技巧。

自测

4-1. 将“AI文案更好吗？”这一问题改写为可实验的问题，并标明该问题中包含的四个要素。

4-2. 说明混杂了基于阅读量的点击率与基于发送量的点击率的报告为何无法用于对比。

4-3. 写出确定样本量的三个要素，并说明若将想要检测出的差异缩减为一半，所需样本量会发生怎样的变化。

4-4. 在实验过程中查看结果的行为中，各举出一项可以做与不可做的事项，并写明理由。

4-5. 虽然AI文案的点击率有所上升，但退订率增加了一倍。请结合守护指标的概念与韩国《信息通信网法》的关系，说明应如何评估这一结果。

4-6. 按照Claude评估文档的建议，写出在使用LLM对品牌语调进行评分之前应当完成的三件事。

4-7. （设计）填写对比AI个性化短信与通用短信的实验计划书各项目（问题、对象、分配、指标、守护指标、样本、周期、判定标准、法律核查）。

实操练习