AI产品策划教材

目录

1. 如何使用本教材
2. 第 1 章 AI适用性判断

   什么是 AI 适用性判断 · 解决方案的阶梯 · 规则与查询胜出的场景 · 检索胜出的场景 · 需要模型的问题 · 不适合 AI 的问题 · 自动化与辅助 · 选择工作流与智能体的基准 · 数据条件 · 成本条件 · 是否属于高影响领域 · 自动化决策与韩国《个人信息保护法》 · 筛除不需要 AI 需求的判定提问 · AI 适用性判断备忘录 · “等模型变好再做”这一判断的陷阱 · 由人做决策，风险就会消失吗 · 成本对比中容易遗漏的项

3. 第 2 章 需求与成功标准

   AI 功能的需求有何不同 · 可判定的成功标准 · 成功标准的多重维度 · 精确率与召回率 · 将模糊需求转化为标准的步骤 · 输入契约 · 输出契约 · 质量·延迟·成本的权衡 · 面向用户的失败体验 · 上线阻断标准与改进目标 · 基准值的设定依据 · 需求文档的结构 · 想要缩减为单一指标的诱惑 · 错误的大小也是标准 · 一致性何时成为需求

4. 第 3 章 评估设计

   什么是评估 · 评估流程的五个阶段 · 评估集的代表性 · 边界案例与罕见高风险案例 · 评估集的来源与规模 · 留出集与过拟合 · 三种评分方式 · 评分方式的选择顺序 · 让 LLM 评分器变得值得信赖 · 人工评分的定位 · 能力评估与回归评估 · 离线评估与在线指标 · 单次成功与每次成功 · 基于评估结果判断是否发布 · 评估计划书 · 分数上升就意味着变好了吗 · 评估集的生命周期 · 线上指标的归因问题

5. 第 4 章 失败应对与人工监督

   失败是规划的一部分 · 编造回答 · 拒绝与过度拒绝 · 格式错误 · 临时故障与重试 · 替代路径与逐步降级 · 各类失败应对表 · 人工介入点 · 审核人员的权限与依据 · 信任校准与置信度展示 · 用户告知 · 反馈与控制机制 · 形式化审批的陷阱 · 自动切换至其他模型的陷阱 · 免责声明不是应对措施

6. 第 5 章 发布与运营

   发布是度量的开始 · 确定发布范围 · 发布方式对比 · 金丝雀发布设计 · 中止标准与回滚 · A/B 实验的前提条件 · 运营指标的分层 · 告警设计 · 模型与提示词变更管理 · 事故响应 · 不指责复盘 · 依据运营数据确定改进优先级 · 分阶段发布计划书 · 更改指标的诱惑 · 静默质量下降 · 关停功能的决定

7. 附录 A 术语表
8. 附录 B 自测答案与解析
9. 附录 C 考试当天指南
10. 附录 D 参考文档列表