第 1 章 生成式AI的工作原理与局限

学习目标

• 用日常比喻说明token、上下文窗口、概率性生成和知识截止日期。
• 区分模型、产品和工具，辨别答案是“生成”的还是“搜索”得到的。
• 说明幻觉产生的原因，识别不能直接相信输出的情形。
• 根据任务复杂度以及对速度和成本的要求，选择推理模型、普通模型及模型档位。
• 说明图片、PDF、语音等多模态输入的用途与错误类型。

引言

区立图书馆负责图书管理的闵馆员，使用AI制作了供“青少年职业探索阅读周”使用的推荐书目清单。十二本书的作者、出版社、出版年份及一句话介绍都整理得井井有条。然而，一位同事拿着这份清单与书架上的书逐一对照时，却疑惑地歪了歪头。两本书在任何书店都找不到，另一本作者正确，书名却错了。其余九本准确无误。如果书单直接贴上公告栏，学生就会四处寻找根本不存在的书。

闵馆员惊讶的是，错误书目的语气和格式与正确书目一模一样。AI并没有说“这两本我没有把握”。AI究竟是怎样制作出这份书单的？为什么其中九本书的信息准确，三本却有错误？又该查看哪些地方，才能事先识别出错误的内容？

本章回答这些问题。首先理解AI处理文字的单位（token）和一次能参考的量（上下文窗口），再了解生成答案的方式（概率性生成）及知识的时间限制（知识截止日期）。接着讨论幻觉的成因与类型、推理模型和普通模型的差异，以及图片和文档输入的局限。最后用检查表整理“何时不能直接相信输出”。本章是AI运用能力中辨别（Discernment）的基础。

核心概念

区分模型、产品和工具

谈论AI时，首先要区分三件事。

• 模型：读取文字并生成后续文字的计算引擎。相当于汽车的发动机。
• 产品：让人使用模型的服务，包括对话界面、文件上传、对话记录和共享功能。ChatGPT、Claude、Gemini通常是产品名称，内部可以运行多个模型。相当于汽车的车身和仪表盘。
• 工具：模型生成答案时调用的独立功能，典型例子包括网页搜索、用于计算的代码执行、内部文档检索以及外部应用连接。相当于汽车的导航系统。

错误发生的位置不同，采取的应对方式也应不同。即使使用同一个模型，启用搜索工具的产品与未启用搜索工具的产品，对最新信息的回答也可能截然不同。不要停留在“AI错了”这一结论上，而应养成继续追问的习惯：“是模型本身出错、工具未启用，还是产品端提供了过时资料？”养成这样的习惯，是本章的起点。

token：模型切分文字的单位

模型并不像人一样按词阅读文字，而是把文字切成名为token的小块来处理。OpenAI说明，一个token可能是一个字符、一个词的一部分、完整的词或标点符号，空格也会影响切分方式。用乐高来比喻：同样搭一座房子，选用不同的积木套装，所需的积木数量也不同。

token数与字符数、单词数并非一一对应。同一段文字的token数，会随模型、模型采用的编码（分词器把文字转换为token的规则）和语言而变化。各公司给出的经验值都以英语为准。

韩语文件与其英语译文的token数不同，很正常。直接用英语经验值乘算韩语文档的篇幅，可能偏差很大。需要准确数量时，原则上应使用产品或开发者工具提供的token计算功能实际计数。

token大致分为三种。

token是限额和成本的单位。一次能处理的量以token限定，语言模型API的基本费用也主要按token计算。OpenAI补充，其他功能可能采用不同的计费单位。OpenAI还说明，推理token虽然不显示为答案文字，却按输出token计费，所以短答案也可能消耗大量token。

上下文窗口：桌面上的工作空间

上下文窗口指模型在生成答案时，能够同时参考的全部文字内容所占的容量。Anthropic解释说，上下文窗口是一种“工作记忆”，与模型训练时学过的海量资料不同。指令、此前的对话记录、附上的图片与文档、工具返回的结果，乃至此刻正在生成的答案，都要放进这个窗口。如果把训练数据比作模型长期积累起来的图书馆，上下文窗口就好比眼下摊开资料的那张书桌。

书桌的面积更大，并不意味着工作一定做得更好。Anthropic将随着token数量增加、准确率和信息召回能力逐渐下降的现象称为上下文衰退（context rot），强调选择放入什么内容与空间大小同样重要。它还指出，聊天界面可能在对话变长后，以旧内容先被挤出的“先进先出”方式管理上下文。长时间对话中，最初确定的条件之所以会逐渐模糊，原因就在这里。能够把内容放进去，与能够毫无遗漏地利用其中的内容，是两件不同的事。尤其是条件分散在几份文档之中、资料中混杂着已经废弃的版本，或是会改变结论的例外条件藏在脚注里时，更容易出现遗漏。

另一个需要与上下文窗口一起了解的概念是输出上限。模型一次回复能生成的token数也有上限。OpenAI说明，上下文窗口与输出上限各自独立，推理模型还必须为可见答案以外的推理token预留空间。这意味着，即使系统接受你一次输入整份长文档，也未必能在一次回复中交回同等篇幅的结果。可以把输入理解为书桌的面积，把输出理解为一次能写的稿纸页数。Anthropic说明，在API中，仅输入就超过窗口的请求会返回错误。

概率性生成：极其强大的自动补全

生成式AI根据已有文字，按概率挑选适合作为下一个token的内容，接着写下去。可以把它理解为手机输入法自动补全功能的超大、超精细版本。这种方式带来两个特性。

1. 同一个问题的答案也可能每次略有不同。因为有多个合理候选时，每次可能选中不同的内容。
2. 生成过程本身没有“核实是否属实的步骤”。模型按句子是否自然来续写，不会另行检查句子是否为真。

开发者API中有一个控制随机程度的设置，叫作temperature（温度）。Google说明，低温度适合需要固定答案的任务，高温度适合需要多样答案的任务。但Anthropic的API文档指出，即使把温度降到0，结果也不会完全相同；一些较新的模型不接受温度设置，或会忽略它。更关键的是，降低温度不等于提高准确性：模型也可能每次都给出同一个错误答案。Google还说明，某些模型改变默认温度可能降低其推理性能，因此应保留默认值。

所以，同一答案反复出现并不能使它成为事实。反过来，如果同一个问题问了几次，答案却互相矛盾，就是需要怀疑的信号。Anthropic介绍了用相同指令多次运行并比较结果的方法，说明结果间的不一致可能指向幻觉。请记住这种不对称关系：输出一致不能证明其真实，但输出不一致可以成为警示信号。

知识截止日期：出国前读到的最后一份报纸

模型用截至某个时间点的资料训练，对之后的事几乎不了解，或了解得不准确，需要通过搜索或附件等外部依据核实。这就像一个在南极基地工作很久后归来的人，只知道出国前读到的最后一份报纸上的内容。

Anthropic的模型文档区分两个日期。**可靠知识截止日期（reliable knowledge cutoff）**是模型知识最广泛、最可靠的时间点，**训练数据截止日期（training data cutoff）**则对应训练资料覆盖的更宽范围。两者之间发生的事件，模型可能略知一二，但掌握得肤浅或不准确。紧邻截止日期之前的事件，也可能因为公开文字尚未充分积累而缺乏训练资料。

工作中，比记住日期更重要的能力是判断：这个问题的答案是否会随时间改变。

右栏的问题，即使有关信息早于知识截止日期，也可能已经变化。处理这类问题的原则是附上最新资料或开启搜索，并要求答案注明截至时间。

生成与搜索：何时编写答案，何时查找资料

AI产品通过两种不同的方式得出答案。第一种是模型仅依据训练时学到的知识来生成答案；第二种则是借助搜索或文档查询，先查找到资料，然后以查到的资料为依据来作答。第二种方式称为事实锚定（grounding）。这个词的意思是，像把木桩打进地面那样，将答案与实际资料牢牢联系起来。

Google解释说，Gemini通过Google搜索进行事实锚定，可以回答涉及模型知识截止日期之后近期信息的问题。它还会返回将答案和信息来源对应起来的引用，使用户能够亲自查证。通过检索公司内部文档来回答问题的功能，采用的也是同一个原理。

事实锚定很有用，但并非万能。即使搜索过，以下错误仍可能发生。

• 搜索结果本身过时或错误。
• 模型误读搜索结果，或混合多个来源的内容。
• 虽然附有引用，引用的段落却并不支持相应主张。

因此，查看来源标注是核查的起点，而非终点。第4章会详细介绍按每条主张核对来源的流程。

幻觉的成因与类型

幻觉是模型生成看似合理、实际却与事实或所给资料不符的内容的现象。Anthropic承认，即使最先进的模型，也可能生成不符合事实或所给上下文的文字。不要把一切笼统称为“错了”，区分类型后就能找到应对方式。

Anthropic推荐的基本应对措施有三项。第一，允许模型在不确定时说不知道；第二，处理长文档时，让它先原样引用相关句子，然后再回答；第三，要求每条主张附上引用和来源，如果找不到能够支持该主张的句子，就撤回这条主张。此外，还可以限定范围，要求“只使用所提供文档中的信息，不使用通用知识”。Anthropic还补充说，这些方法虽然能大幅减少幻觉，却不能彻底消除，因此对重要信息和高风险决定，始终应进行核实。

自信的语气不等于充分的依据

AI的答案即便有误，措辞也可能流畅而斩钉截铁；人则更容易相信说话显得有把握的一方。在本章引言中，三本信息有误的书与九本信息准确的书，使用的正是完全相同的语气。语气的自信与依据的强度是两回事。

类似的现象还有迎合（sycophancy）。Anthropic研究把迎合定义为模型倾向于给出符合用户信念的答案，而非真实答案。它认为，原因之一是人类偏好评估有时会给写得像样的迎合式答案更高评价，超过准确答案。工作中可能表现为：

• 用户说“真的？我知道的好像不一样”时，模型没有依据就改答案。
• 问题包含想要的结论时，模型倾向于支持该结论。
• 用户让模型评价自己的草稿时，评价高于实际水平。

应对方法很简单。如果模型改变了答案，不要看它的态度来判断前后哪个答案正确，而要根据外部依据作出判断。写问题时应保持中立，不透露自己希望得到的结论；让模型进行评价时，则应明确留出批评的空间，例如要求它“先找出三个薄弱之处”。

推理模型与普通模型

现在的大多数AI产品，都会同时提供不同种类的模型。其中，推理模型是在给出答案之前，先在内部逐步权衡多个环节的模型；普通模型则是在收到指令之后，立即开始接着写出答案的模型。OpenAI将二者分别比作“规划者（planner）”和“主力干将（workhorse）”，并解释说，二者是特点有所不同，并没有哪一方本身更好。多数实际工作流程都会将这两类模型搭配使用。

这里要避免两种误解。第一，采用推理模型，并不代表它掌握了更多最新知识。推理能力说的是“能够多好地分析和权衡已经给出的信息”，知识是否及时更新，则取决于知识截止日期和是否进行了搜索。第二，即使经过长时间思考，得出的结果也仍然可能有误。对推理模型给出的结论，同样必须核查所依据的资料和计算。向推理模型下达指令的方法，与向普通模型下达指令的方法略有不同，第2章的深入阅读部分会对此作出介绍。

按任务难度选择模型档位

各家公司即便在同一个系列之中，也会推出多个不同的模型档位，既有规模大、速度慢、价格高的模型，也有规模小、速度快、价格低的模型。Anthropic的模型对照表把最快档位描述为适合分类、提取、路由等吞吐量高且重视响应速度的任务，把最大档位描述为适合复杂推理和长任务。

选择档位时，应问四个问题。

1. 判断有多复杂？ 规则明确，还是需要权衡多个条件？
2. 处理量多大、速度要求多高？ 每天几千件，还是每月几件？是否需要几秒内回答？
3. 出错危害多大？ 人能马上修正，还是会对外产生难以撤回的影响？
4. 是否确认过小模型已经足够？ 是否用几十个代表案例比较过小模型与大模型？

最后一个问题是选择的关键。比起模型的档位对照表或名称，选取自己实际工作的代表性案例开展的小规模对照实验，才是更加可信的依据。把准确率、遗漏情况、处理速度以及人工修正所花的时间记录下来，就能通过数字看出到底需要哪种档位。对处理量很大的业务，也经常采用**分流（路由）**设计，把简单的请求发给小模型，只有遇到困难请求时才发给大模型。

多模态输入

多模态是指除了文字之外，还能够处理图片、PDF、语音和视频等多种输入形式的能力。例如，可以让模型从收据的照片中读取金额，让它说明图表图片呈现的变化趋势，或是让它对会议录音作出总结。

多模态输入有三个需要了解的特性。

1. 图片和声音也消耗token。 Google说明，图片、视频和语音会按照既定规则换算为token数量；Anthropic则将图片划分为小块，再计算其token数。以照片形式上传的文档，同样占用空间。与直接输入文字相比，是否能少用一些空间，要取决于图片分辨率和所用模型。同时还要记住，图片缩小之后，其中细小的文字就更难辨认。
2. 存在独特的读取错误。 Anthropic说明，模型可能误读低画质、旋转或极小图片；位置关系判断只是近似；细小物体很多时，可能无法准确计数。工作中，常见误读点包括小字、模糊扫描件、表格行列对应关系，以及图表的坐标轴、单位和图例。
3. 有些事情无法判别。 Anthropic说明，模型无法判别图片是否由AI生成，因此不要依赖它检测伪造图片。

对于语音，应当分成听写转录与内容解读两个阶段来审视。人名、专业术语以及几个人同时说话的部分，容易在听写转录阶段出现错误；至于究竟是谁同意了什么，则容易在解读内容的阶段弄错。

Anthropic说明，把图片放在文字之前效果最好。若资料中的数字很重要，提供原始文件（电子表格、原文文本）通常比图片更准确。

不能直接相信输出的情形

把以上概念整合成一张检查表。以下任一项成立，都应先核实再使用输出。

输出类型不同，核实方式也不同。事实要对照原文，计算要换一种方法重算，解读要检查前提和反例，创作要评估是否符合目的、读者和限制。所有结果都用同一种方式审核，会漏掉重要错误。

深入阅读

为什么把计算与汇总交给工具

语言模型是预测下一个token的机器，并不是专门进行数值计算的机器。简单的加法，它大多能够答对；但是，对行数很多的表格求和、计算比例和增减幅度，或按多个条件进行汇总时，它可能给出看似合理、实际却有错误的数字。问题在于，错误的数字与正确的数字，在文字中看起来会同样自然。

Google建议，对于算术、计数以及其他需要计算的任务，使用代码执行工具。所谓代码执行，是让模型把计算过程写成程序，再实际运行这个程序的功能。这样做的优点是，人除了查看结果，还可以检查计算公式。如果所在环境没有代码执行功能，更安全的办法是将计算工作交给电子表格，只让AI负责解读算出的结果，或把结果整理成文字。

这项原则并不是在说“AI不擅长数字，所以不要把它用于涉及数字的业务”，而是要求划分各自的职责。计算由能够可靠计算的工具承担，解读与叙述由语言模型承担，人则负责确认两者衔接得是否正确。对于将写进报告的数字，应当能够重新追溯，查明由谁采用什么方法进行了计算。

同名模型也会变化：版本与可复现性

有时，今天输入与昨天相同的指令，得到的答案格式却变了。这可能是概率性生成造成的，也可能是产品背后的模型本身已经发生了变化。随着聊天产品更新，其默认模型也可能更换为新版本。在面向开发者的API中，各家公司会提供快照名称，用于固定某个特定时间点的模型。OpenAI建议，如果生产环境需要保持一致的行为，就应固定使用某个具体快照，并准备一套评估集，用来衡量提示词运行时的表现。

因此，如果团队一直使用的指令模板突然产生不同的表现，不能只归咎于指令本身，还要确认模型或相关设置是否发生了变化。对于持续使用的AI功能，应把10～20个代表性案例及其预期结果整理为一套检查集。每次模型发生变化，都用同一批案例重新运行，查找前后有哪些差异。

工作场景

晨光烘焙采购部的黄油单价报告

手工甜品连锁品牌“晨光烘焙”总部采购部的吴专员，需要撰写价格趋势报告，以决定下个月的黄油采购量。他在关闭网页搜索的公司内部AI工具中提问：“整理最近3个月韩国国内黄油批发价走势及下个月展望。”模型给出一张月度价格与展望俱全的整洁表格。

吴专员正打算直接把表格粘贴进报告时，想起了需要先问自己三个问题。

1. 这些信息是什么时候的？ 最近3个月的价格信息，很可能属于知识截止日期之后的内容。由于搜索功能被关闭，模型没有机会看到实际的价格。
2. 这些数字从哪里来？ 这张表格并没有标明任何来源。越是具体的数字，越可能是概率性生成过程为了填补空缺而给出的“看似合理的数值”。
3. 出错危害多大？ 这些数字将用于决定采购数量，一旦采购判断失误，就会造成库存损失。

吴专员起初想到了两个替代办法。一个办法是把同样的问题再问几遍，如果得到的数字相同就采用，但考虑到反复提问不能替代事实核查，他放弃了这个办法。另一个办法是开启搜索后再问一遍，不过，搜索结果可能把零售价与批发价混在一起，也可能与公司实际拿到的单价不同，因此他决定只将搜索作为辅助手段。

最终，他附上三家供应商最近3个月的单价表PDF，重新请求：“只用附件中的数字，在表格每个数值旁写出依据文档名称和页码。资料缺失的月份标注‘无资料’。不要自行计算平均值与增减幅度，只标出需要计算的列。”平均值和增减幅度另用电子表格计算。展望则拆成独立请求：“说明上表的趋势，把已确认事实与推测分段写。”

最后得到的结果虽然不如最初那张表格华丽，但每一个数字都附上了依据，没有数据的月份也通过空白清楚地显现出来。吴专员把表格与PDF原件对照核查了一遍，之后才将其放进报告。关键不在于怀疑模型的能力，而在于理解模型看不到的信息和不做核实的方式，再用依据和工具补上空缺。

夏日森林露营运营部的仪表板截图报告

露营用品网店“夏日森林露营”运营部的姜经理，每周一都要向高管会议提交一份每周业绩摘要。为了缩短工作时间，他截取了三张销售仪表板的画面，输入AI，并请求“用五行总结上周的业绩”。仪表板中有一张双轴图，左侧坐标轴表示销售额，右侧坐标轴表示转化率，此外还有一张用小字列出各个品类数据的表格。

摘要看似合理，团队成员却指出两处问题：转化率写成实际值的十倍；“帐篷”行的销售额变成下一行“天幕”的值。姜经理将原因拆开分析：转化率错误是混淆两条坐标轴单位的解读错误；行错位则是小字表格中错误对应行列的读取错误。

姜经理权衡三个选择。提高截图分辨率可以减少读取错误，却无法解决坐标轴解读错误；完全不用图片可以避免误读，却也失去一眼解释趋势的优势。因此，他决定数字用原始文件，图片只用于趋势说明。

他把从仪表板下载的CSV文件作为数字依据附上，并一起提供了在电子表格中计算出的合计值，以及与前一周相比的增减值。图片则只用于这项请求：“用文字说明图表中两处明显的变化，不要使用数字。”这份每周摘要是每周按相同格式重复进行的轻量工作，因此，他花了四周进行比较，看看不用大型推理模型，改用快速的普通模型，是否也能通过标准。由于结果相同，最终确定使用快速模型。

这个案例的关键，是区分图片擅长的工作（说明整体的样貌）和原始数据擅长的工作（提供准确的数字），并把错误分别放到读取和解读两个阶段，采取相应的应对措施。

易错点

1. “越具体越准确。” 案件编号、日期以及精确到小数位的数字，都会让信息显得可信。然而，概率性生成很容易制造出形式上像真的一样的虚假信息。因此，内容具体反倒应被视为需要核实的信号。
2. “多问几次答案一样，就是事实。” 同一模型可能重复同样错误，重复不能代替事实核查。不过答案互相矛盾，可以作为警示。
3. “温度降到0就会准确。” 即使降低温度，也无法保证准确性；即使温度设为0，结果也未必完全相同；对某些模型来说，改变默认值甚至会使表现变差。准确性要通过提供依据和验证结果来保证。
4. “上下文窗口大，就意味着也掌握了最新信息。” 上下文窗口是能读的量，知识截止日期是训练的时间点，两者属于不同维度。
5. “附有来源就已经核实。” 即使来源真实，相应段落也未必支持主张，搜索结果也可能过时。标注来源只是核查起点。
6. “我反驳后它改了答案，所以现在对了。” 模型倾向于迎合用户的反驳。哪一个答案正确，应依据外部证据判断。
7. “昂贵的推理模型永远更好。” 简单的大批量任务使用推理模型，可能只是又慢又贵。推理模型也不意味着掌握更多最新知识。
8. “拍照上传既省空间，又能准确读数字。” 图片同样占上下文窗口，是否省空间取决于分辨率；小字、表格和图表坐标轴都是常见误读点。

要点速览

查阅官方文档

• OpenAI — Understanding and counting tokens：token定义、英语经验值、推理token计费、输出上限。
• Google — Understand and count tokens：Gemini经验值及图片、语音、视频的token计算。
• Anthropic — Context windows：作为工作记忆的上下文窗口、上下文衰退。
• Anthropic — Models overview：两个知识截止日期的定义、各档位用途。
• Anthropic — Reduce hallucinations：允许说不知道、先引用、无依据撤回、多次运行并比较。
• Anthropic — Vision：图片输入的局限（低画质、位置判断、计数、判别AI生成图片）。

自测

1-1. token、上下文窗口、知识截止日期各自“衡量什么”？请分别用一句话区分。

1-2. 某模型文档写明可靠知识截止日期为3月，训练数据截止日期为5月。向该模型询问4月发生的事，应如何对待答案？请说明。

1-3. 推理模型只给了两行答案，用量界面显示的输出token却与一份长报告相当。请写出可能原因。

1-4. 为四种输出分别匹配最合适的核查方式。输出：（甲）新品宣传语；（乙）季度销售额合计；（丙）竞争对手发布日期；（丁）对客户流失原因的解读。方法：对照原文、用其他工具重新计算、检查前提与反例、评估是否符合目的与读者及限制。

1-5. 将二十张手写纸质问卷拍照，交给AI统计各题回答数。请写出两种可能错误及各自对策。

1-6. 在五个新对话中提出同一问题，五次答案都相同。请分别用一句话写出这能说明什么、不能说明什么。

1-7. 某团队有三项工作：每天统一500条商品名的英文写法；每月撰写一次新市场进入评估备忘录；每周两次起草内部日程通知。请用两三行设计各项工作的模型档位选择规则，并写出如何确认规则是否合适。

实操练习