第 1 章 AI是如何回答的

学习目标

• 能够用日常生活中的比喻，解释生成式AI并不是把答案“找出来”，而是“编造创作”出来的这一特点。
• 能够说明搜索与生成式AI的区别，并根据具体情境选择合适的方式。
• 能够解释产生看似合理却错误的回答（幻觉）的原因，以及应当引起怀疑的信号。
• 能够解释AI对训练截止时间之后的信息掌握较弱的原因，以及面对相同问题时回答也会有所不同的原因。
• 能够识别不能直接轻信AI回答的情境，并学会划分交由AI处理的事与亲力亲为的事。

引言

郑末顺女士今年六十七岁。孙女在她的手机上安装了一个AI聊天机器人应用，并对她说：“奶奶，有什么想问的就问它吧。”郑末顺女士第一次这样提问：“阳光内科周六开到几点？”AI毫不犹豫地回答道：“阳光内科周六上午9点至下午1点接诊。”它的语气格外笃定清晰，甚至让人完全没有起疑的念头。

周六早晨，诊所大门紧闭。门上贴着一张告示：“自今年起周六停诊”。AI并没有说“我不太清楚”。它只是用和正确答案一模一样的笃定语气，给出了一个错误的回答。

然而到了下周，郑末顺女士让同一个AI帮她写一条祝贺同窗七十大寿的短信。这一次，AI给出的句子让她非常称心如意。同一个AI，一次让人白跑了一趟，另一次却帮了大忙。究竟是什么造成了这种差异？

本章将深入剖析这种差异。首先探讨什么是生成式AI以及它是如何生成回答的；接着依次解析它与搜索有何不同、为何会看似合理地出错、为何对近期的事情知之较少、为何每次提问的回答都会发生变化；最后梳理AI擅长与不擅长的事，并练习如何将任务划分为交由AI处理的事与由自己亲力亲为的事。本章的内容将在后续所有章节中反复运用。

核心概念

什么是生成式AI

AI（人工智能）是指让计算机像人类一样进行理解、判断和创造的各项技术的统称。其中，生成式AI是指能够全新创作文字、图像、声音、视频等内容的AI。“生成”即“全新创造出来”的意思。

韩国法律中也对生成式AI做出了定义。韩国《人工智能基本法》第2条第5项将生成式人工智能定义为“通过模仿所输入数据的结构与特性，生成文字、声音、图像、视频以及其他多种成果物的人工智能系统”。将这句晦涩的法律条文通俗化，意思就是：通过阅读大量资料，模仿这些资料的形式和特征，从而创造出形式相似的全新成果物。

此处预先整理本书中常用的词汇：

如今生成式AI已经渗透到各个领域。不仅有单独下载的AI聊天机器人应用，搜索界面的顶部会附带AI撰写的摘要，即时通讯软件或文档处理软件中也出现了AI按钮。虽然外在形式各不相同，但其底层的工作机制却大同小异。本章探讨的正是这一共通的工作机制。

AI通过接续下文的方式来回答

用手机发短信时，想必你见过键盘上方跳出推荐词汇的情形。输入“今天晚上”时，就会弹出“什么”、“一起”、“时间”等词汇。这是因为手机在学习了大量过往语句之后，掌握了“在这句话后面经常会出现这些词”的规律。

如果将生成式AI看作把这种推荐功能做得极其庞大且精密的技术，就很容易理解了。AI在阅读海量文章的过程中，掌握了“在这句话后面接这样的话才自然”的感觉。这一过程被称为训练。当我们发送问题时，它会将该问题之后最自然衔接的词句一片片拼接起来，进而生成完整的回答。

这里有一个至关重要的要点：AI选择词句的判断标准是“是否自然”，而不是“是否属实”。自然的话语与正确的陈述固然经常重合，但自然并不保证一定正确。其正确率的高低，取决于问题的类型、AI的种类以及是否结合使用了搜索等工具。来看一个二者产生偏差的例子：“阳光内科周六上午9点起”这句话在诊所告示中是非常常见的格式，因此听起来很自然。然而那家诊所实际上是否在那个时间接诊，则是另一码事了。

搜索与生成式AI的区别

互联网搜索类似于图书馆的图书管理员。当你询问“枫叶节日期”时，它会提供记录有该内容的网站列表。你可以看到信息来自哪个网站，并能直接打开该网站浏览。不过代价是必须由自己亲自阅读并从多个结果中进行挑选。

生成式AI则更像一位健谈的邻居。一旦开口询问，它便会立即用条理清晰的语句给出回答。既通俗易懂又快捷迅速。然而，如果它没有另行说明这番话的由头，我们便无从知晓其出处。

因此，像“本周六诊所是否开门”这样需要了解当下既成事实的提问，使用搜索或查看诊所的官方公告更为合适；而像“请帮我写一条向诊所恳请更改预约的礼貌短信”这样需要构思文本的任务，生成式AI则更为擅长。

结合搜索功能的AI

如今将二者结合的服务也屡见不鲜。其运作机制是：接收到提问后，AI先在互联网上进行检索，随后将检索到的内容加以梳理并给出回答，同时附上出处链接。这类回答因为出处一目了然，让人安心不少。

尽管如此，附带了链接并不意味着大功告成。我们必须亲自访问该出处加以核实。出处中的实际内容可能与AI梳理的语句存在出入，而且出处本身也可能是一篇陈旧过时的文章。OpenAI的帮助文档《Does ChatGPT tell the truth?》中也明确提示，在准确性至关重要时应使用搜索等工具，并亲自访问链接以核实出处。此时，与其直接点击链接，不如自己主动访问该机构的官方网站并查找相同的文档进行核对，这种做法会更加安全稳妥。相关内容将在第3章中进行详细演练。

看似合理却错误的回答：幻觉

AI将不符合事实的内容当作事实陈述的现象被称为幻觉（Hallucination）。该词原本是表示“看到虚幻之物”的英语单词，在中文里通常称为“幻觉”。

各大AI公司对此问题也毫不避讳。OpenAI在其帮助文档中指出，ChatGPT可能会给出错误或产生误导的回答，并列举了错误的定义、日期、事实，以及伪造的引文、研究、参考文献、不存在的出处等实例。Google也在Gemini应用个人信息保护中心（Privacy Hub）中提示，Gemini应用有时可能会生成不准确或令人不适的信息（包括涉及人物的信息）。

日常生活中常见的幻觉主要表现为以下几种形式：

为什么会出现这种情况？正如前文所述，这是由于AI是在挑选“最自然的下文词句”。诊所告示通常遵循“工作日几点、周六几点”的固定句式格局。AI对这种句式格局了如指掌。即使不知道某家具体诊所的实际时间安排，它也能够捏造出符合这种格式的句子。这相当于用看似合理的话语填补了未知的空白。

自信的语气不是正确答案的证据

人类往往通过语气来判断对方。说话毫不犹豫、条理分明的人，总会让人觉得他见多识广。AI的回答听起来总是流畅、得体且自信满满。因此，人们往往更容易对其深信不疑。

然而，AI的语气与回答是否准确毫无关联。OpenAI的帮助文档中也写道，模型即使给出错误的回答也可能表现出高度的自信。郑末顺女士收到的“上午9点至下午1点”这一回答，听起来同样自信十足。

相反，应将下列特征视作提示你需要进行核实的关键信号：

• 包含时间、金额、电话号码等精确的数字。
• 包含人名、店名、机构名等专有名词。
• 搬出“根据某某研究”、“据某某机构公布”等论据依据。
• 包含“务必”、“100%”、“绝对”等断言式词汇。

内容越具体，表面上看起来越有用，但一旦出错所造成的损失也越大。越是具体的内容，越要多复核一次。

AI掌握的知识是有日期的

AI是通过阅读截至某一时间节点之前的文本来进行训练学习的。在那之后发生的事情它并未学过。这一时间点被称为训练时间点或知识基准日。

不妨回想一下几年前印刷的社区地图。地图上标示的大道和大山如今依然如故。然而这期间新开的店铺、倒闭的商户、调整的公交路线，地图上却一概没有。拿着陈旧的地图去寻路，即使大方向正确，也可能在最后的弄堂胡同里迷路。AI亦是如此。

尤其是以下信息变动频繁。如果AI提供的内容属于此类，务必以今天的最新情况重新核对：

• 店铺与诊所的营业时间、休息日
• 公交车与火车时刻表及票价
• 商品价格、公用事业缴费标准、手续费
• 补贴与政策的支持对象、申请期限
• 活动与节庆举办日期
• 电话号码、地址、负责部门
• 由谁担任某个职务

当询问近期发生的事情时，AI有时并不会直言“那是我训练完成之后发生的事，我不知道”。这就像看着旧地图却依然底气十足地说“请走这条路”一样。因此，凡是针对包含“近期”、“今年”、“这个月”、“最近”等字眼的问题所给出的回答，务必要核实日期。

面对相同的问题回答也会有所不同的原因

同样的问题问两次，得到的回答往往会略有不同。初次使用的人甚至会惊讶地怀疑：“是不是坏了？”这并不是故障。因为AI并不是把回答预先存储起来再调取出来，而是每次提问时都重新创作构建。这就像同一个民间传说，奶奶每次讲起时用词措辞都会稍有不同一样。当自然衔接的下文词句有多个可选项时，它会从中挑选一个，而这一选择每次都会有些许差异。

这种特性根据具体用途，既可能成为优势，也可能成为警告信号。

在此还需警惕相反方向的误区：多次提问即使每次都给出相同的回答，也不代表那就是正确答案。同一个AI可能会反复犯同样的错误。回答不一致固然是“去核实”的警报信号，但即使回答完全一致，核实事实的工作也仍需单独进行。

AI擅长的事

AI擅长处理语言和文字类事务。在日常生活中非常实用的一些典型示例如下：

你发现它们的共同点了吗？绝大多数都是结果优劣可由自己亲自阅读并做出判断的事。祝贺短信合不合心意，读一遍便心知肚明。这类工作即便AI出错，自己也能立刻察觉并加以纠正，因此十分安全可靠。

AI做不好或需要谨慎对待的事

相反，下列事项如果完全交由AI处理则十分危险，或者至少必须经过核实确认：

这并不意味着AI对这类提问毫无用处。在前往医院就诊前，让AI协助梳理一份“向主治医生咨询哪些问题比较好呢？”的提问清单，AI就能发挥巨大的助益。然而，结论绝不能由AI做出，而必须由对该项事务承担责任的人员和机构来敲定。

了解不能直接轻信AI回答的情况

当收到AI的回答时，不妨在心底自问以下六个自查问题。只要有一项的答案是“是”，就绝不能直接采信该回答，而必须加以核实：

1. 是否涉及金钱往来？ 转账、支付、投资、退款、缴费。
2. 是否关乎身体与健康？ 症状、药物、服用剂量、运动强度。
3. 是否涉及法律、文件或截止期限？ 申请资格、截止日期、合同签署、申报备案。
4. 是否包含日期、时间、地点、数字、电话号码？
5. 是否需要传达给他人？ 家庭群聊、聚会通知、孙辈的作业。
6. 是否属于难以挽回的事？ 一旦汇出便无法撤回的转账、一旦传开便覆水难收的传言。

划分交由AI处理的事与亲力亲为的事

即便在同一项事务中，也往往交织着可以交由AI处理的部分与必须由自己亲力亲为的部分。将任务细化拆解并归入三个栏目，判断起来就会轻松明了得多。

不妨这样尝试：将家庭旅行筹备细分为三个栏目

1. 列出所有待办事项：规划行程、挑选住处、制定准备物品清单、撰写家庭群聊通知、寻找餐厅、购买火车票。
2. 请AI一次性协助起草行程初稿、挑选住宿时的考量要点、准备物品清单以及群聊通知初稿。此时切勿写入出发日期或家中无人的具体时间段（参见第2章“不过多透露信息”）。

[发送的提问]
我想带70多岁的父母去海滨城市进行一次短途家庭旅行。
鉴于长辈步行不便，请协助完成以下四项内容：
1. 留有充足休息时间的一日行程初稿（按时间先后顺序）
2. 挑选住宿设施时需要确认的五个要点
3. 与长辈同行的旅行必备物品清单
4. 发在家庭群聊里的简短通知文案
请不要加入具体的店铺及住宿名称、营业时间、日期、集合地点，
而是像“午餐（餐厅另寻）”、[日期]、[集合地点]这样留出空白。

[AI回答示例]
1. 一日行程初稿
- 上午：乘火车前往，在车站附近稍作休息
- 午餐：（餐厅另寻）
- 下午：海边散步30分钟 → 在咖啡厅休息 → 前往较近的观景台（需确认是否有电梯）
- 晚餐：（餐厅另寻），早早休息
2. 挑选住宿设施时的确认要点
- 是否配有电梯，到达客房是否需要走楼梯
- 从车站或车站台步行需要多长时间
...
3. 准备物品
- 平日服用的药物、薄外套、舒适的鞋子、手机充电器
...
4. 群聊通知
我们将于[日期]带父母去海边旅行。
我们在[集合地点]集合。步行的行程安排得很短。

3. 将第1步中列出的待办事项逐一拆分到三个栏目中。

4. 归入“核实”栏目中的内容，需通过官方网站或电话进行核实（参见第3章）。

在该提问中有一处格外值得关注的细节，即“请将具体的店铺及住宿名称、营业时间、日期、集合地点留出空白”的要求。如果一开始就让AI将容易胡编乱造的部分留白，那么需要人工核实的地方便一目了然了。在第2章中我们将进一步学习这种提问技巧。

深入阅读

为什么AI不太会说“不知道”

人如果不知道，就会说“我不知道”。AI之所以不这么说，原因在于前面介绍过的运行机制。AI的任务是顺着写出接在问题之后最自然的话语。在“阳光内科周六的就诊时间是？”这个问题之后，自然接续的话语往往是“周六从上午9点开始……”，而不是“不知道”。这是因为世上绝大多数医院的公告指南都是这样写的。

当然，有时AI也会坦率地回答“无法确认该信息”。但并不总是如此。因此，提问时附上一句“如果不确定，请说不知道”，会有所帮助（第2章）。不过，即使这样补充说明，错误的回答也不会完全消失。核实确认依然是我们自己的责任。

这里还有一点需要了解。如果追问AI“真的确定吗？”，AI有时甚至会改变回答。既有最初的回答是正确的却改掉的情况，也有明明答错了却固执坚持到底的情况。如果你用怀疑的语气提问，它还往往会顺着你的怀疑去改变答案。因此，追问AI并不是核实。核实要在AI之外值得信赖的地方进行。

关于感觉像真人的对话

与AI对话时，往往会觉得像在和真人交谈一样。它会亲切地附和你，你说辛苦时它还会送上安慰的话语。深夜独自一人时，它还能成为你的聊天伴侣。这样的体验本身确实能带来慰藉。

不过，有几点需要明确清楚：

• AI亲切的话语同样也是前面提到的“自然接续的下一句话”。这与真心为你担忧的人所说的话并不相同。
• AI通常倾向于附和我的话。因此，即使我的想法是错的，它也可能不会去纠正。如果只和AI商量重要决定，无异于只看着照出自己想法的一面镜子。
• 涉及金钱、健康、家庭关系等重要决定，一定要与值得信赖的人商量。
• 心情非常痛苦难过时，比起AI，请先向家人、朋友或专业咨询机构寻求帮助。

AI是优秀的工具，有时也是不错的聊天伴侣。但它绝不能替代人。

也可以用照片和声音提问

许多AI服务不仅接受文字提问，还支持通过照片和声音进行提问。你可以拍下药袋询问“这上面写的字是什么？”，也可以拍下外国餐馆的菜单请求翻译。用语音提问就不用打字，非常方便。

这时同样适用相同的原理。AI可能会认错照片中的文字，字迹越模糊、越小，就越容易出错。哪怕只认错一个数字，含义也可能大相径庭。像药袋上的服用剂量这种重要内容，即便让AI识别照片，也一定要亲自查看原件；如果有疑问，应向药剂师询问。此外，照片中很容易拍进无意包含的信息（姓名、地址、条形码）。拍摄药袋时，请用纸片或手指遮住姓名、身份证号（如果有标注）、疾病名称代码等能够识别个人身份或透露健康状况的部分再拍，或者拍完后将这些部分裁剪掉。具体方法将在第4章“上传照片和文档时”详细介绍。

工作场景

郑末顺女士的赏枫旅行大巴时间

情况。 经历过医院的事情后，郑末顺女士曾想过干脆再也不用AI了。后来，她和社区老年活动中心的朋友们计划去秋季赏枫旅行。担任总务的郑末顺女士问AI：“从佳蓝长途汽车站去丹枫山的第一班车是几点？”AI回答说：“是上午6点40分。”

思考过程。 郑末顺女士这次想起了本章学过的六个核对问题。包含时间（第4项）。要传达给朋友们（第5项）。要是错过了第一班车整个行程就全打乱了（第6项）。其中有三项是“是”。

放弃的选项。

• 直接把AI的回答发到群聊里。 考虑到可能会重蹈医院那次的覆辙，因此放弃了该选项。
• 追问AI“是真的吗？”。 AI可能会重复相同的回答，也可能会说出另一个时间。无论哪种情况都无法起到核实的作用，因此放弃了该选项。
• 完全不用AI。 虽然AI不适合用来核对时刻表，但她知道它在撰写通知短信方面能帮上大忙，因此放弃了该选项。

决定。 第一班车的时间是在汽车站的官方网站上亲自查阅的。实际的第一班车是7点10分。随后她向AI提出了这样的请求：“请帮我写一则发给老年活动中心朋友们的赏枫旅行通知短信。集合地点是佳蓝长途汽车站售票处前，集合时间是上午6点50分，第一班车是7点10分。请每行字数写短一些，用词通俗易懂。”由于AI无法改变字体大小，所以要求它将每行写得短一些以便于阅读。字体大小由接收人在手机设置中调大。时间由自己填入确认过的事实，语句则交由AI润色修饰。郑末顺女士明白了这才是使用AI的正确方向。

韩福东先生与孙子的“家乡人物”作业

情况。 韩福东先生决定辅导上小学四年级的孙子做作业。作业要求是“调查一位出生在咱们家乡的历史人物，并写下五句话”。孙子向AI提问后，该人物的出生年份、生平事迹，甚至留下的著作书名都滔滔不绝地罗列了出来。孙子正打算把这些原封不动地抄写到笔记本上。

思考过程。 回答中包含许多像年份和书名这样的具体事实，这让韩福东先生感到有些担忧。由于作业是要展示给老师和同班同学看的，这便属于要传达给别人的事情。

放弃的选项。

• 原样照抄AI的回答。 既不知道事实是否准确，而且孙子自主学习这一作业本身的意义也就荡然无存了。
• 以AI会出错为由叫他不要用。 考虑到AI在帮助孙子通俗易懂地解释晦涩难懂的古语词汇方面很有用处，因此放弃了该选项。

决定。 两人一起在市政府官方网站的“家乡人物”介绍和教科书中进行了查阅。虽然出生年份与AI的回答一致，但其中有一本著作的书名并非该人物所著，而是出自他人之手。孙子根据核实后的事实，自己亲手写下了五句话。此外，对于介绍文中出现的两个生僻词汇，他向AI请求“请用小学四年级学生能听懂的话解释一下”，从而理解了含义。祖孙俩在笔记本的第一页写下了一条规则：“事实要亲自查证核实，理解要借助AI的帮助”。

易错点

1. “AI会从互联网上查找并回答。” 从本质上讲，AI是根据训练学到的语言规律编造答案的。虽然有些服务带有搜索功能，但即便如此也需要打开链接进行核实。如果盲目相信它是检索来的，就会省略核实环节。
2. “语气自信礼貌，答案就是对的。” 面对错误的答案，AI也会用同样的语气作答。语气并不能作为准确性的证据。
3. “连具体数字都说得出来，肯定值得信赖。” 数字与名称恰恰是AI最容易煞有介事地编造的部分。越是具体的内容，越是需要核实的地方。
4. “问了好几次都得到相同的回答，所以是事实。” 同一个AI可能会重复犯同样的错误。重复不能代替核实。
5. “追问‘是真的吗？’后AI说没问题，就算核实过了。” 再次询问AI，就如同向同一个人重复询问两遍。核实应当在AI之外进行。
6. “AI知晓所有最新信息。” 对于AI训练时间节点之后发生的事情，它可能一无所知或给出错误解答。带有“最近”、“今年”字样的提问，尤其要核对日期。
7. “AI错了一次，就彻底没用了。” 尽管AI在事实核查方面较弱，但在写作、通俗解释、创意构思方面却很有优势。只需将工作分门别类交付即可。

要点速览

查阅官方文档

• OpenAI — Does ChatGPT tell the truth?：说明了AI可能会给出错误事实和捏造的出处，且即便回答错误也可能表现得非常自信。并建议“将其作为初稿使用，而非最终信源”。
• Google — Gemini应用个人信息保护中心：关于Gemini应用可能会生成不准确信息的说明。
• 韩国国家法令信息中心 — 《人工智能基本法》第2条：生成式人工智能、人工智能业务经营者、使用者的法定定义。
• 韩国国家法令信息中心 — 《人工智能发展与建立信任基础等相关基本法》：法律全文与施行日期。

自测

1-1. 请以手机键盘的词语联想推荐功能为例，用两三句话说明生成式AI生成答案的方式。

1-2. 请将以下五项事务划分为“适合搜索或官方指引的事务”与“适合生成式AI的事务”：(A) 了解社区图书馆本月的闭馆日 (B) 撰写给邻居搬家要送的年糕问候短信 (C) 查询长途大巴票价 (D) 将长篇公寓通知精简为三行 (E) 获取五个朋友聚会名称备选

1-3. 请写出三条在AI回答中“更应怀疑并核实的信号”。

1-4. 针对同一个问题提问三次，三次都给出了相同的日期。请分别用一句话写出从该结果中“可以得知的内容”与“无法得知的内容”。

1-5. 请挑选一件自己最近打算做的事（例如：腌泡菜、搬家、筹备节日），列出五项以上的待办事项，并将其划分到“交给AI / AI协助自己核实 / 自己亲自做”三栏中。

1-6. 即便AI并未说明“以我训练所依据的数据为准……”，回答中所包含的信息也必须核实是以何时为基准。请列出三种属于此类情况的问题类型。

实操练习