考核说明
- 题目数
- 35
- 考核时间
- 60 分钟
- 及格线
- 75 分
- 建议经验
- 黄带(AI提问技巧)水平与产品策划经验
所有题目均为五选一,在 OMR 答题卡上填涂。多选题和正误判断题以方框内选项组合的形式出题,排序题和匹配题以排列形式出题。判断型题目(L3)每题 3 分,其余每题 2 分;原始分换算为百分制后评定为 1~9 等级。
考核领域
1. AI适用性判断20%
2. 需求与成功标准20%
3. 评估设计25%
4. 失败应对与人工监督20%
5. 发布与运营15%
比例以专项考核为准。修炼和模拟考核的领域构成可能不同。
考核什么
- 根据问题、数据与风险,判断是采用AI还是其他解决方案
- 编写AI功能的需求与可衡量的成功标准
- 选择发布前后的评估方法与评分方式
- 针对各失败类型设计应对策略与人工监督节点
- 确定发布范围、运营指标与改进周期
适合人群
- 策划AI功能的PM与产品策划
- 筛选AI引入课题并确定优先级的业务负责人
- 制定AI功能发布标准的产品负责人
不涉及模型训练与服务部署实现、代码编写(属于红带“AI功能开发”范围)。
领域详情
领域 1. AI适用性判断
- 知识:规则、检索与模型中的适配方案、适合AI与不适合AI的问题、数据与成本条件、是否属于高影响领域
- 技能:针对具体课题决定是否使用AI及应用方式、过滤掉无需AI的需求
领域 2. 需求与成功标准
- 知识:可判定的成功标准、输入与输出契约、质量、延迟与成本的权衡、用户可见的失败体验
- 技能:将模糊需求转化为可衡量的标准、区分发布阻断标准与改进目标
领域 3. 评估设计
- 知识:评估集构建、代码、模型与人工评分、离线评估与在线指标、回归评估
- 技能:选择适配具体功能的评分方式、依据评估结果判断是否发布
领域 4. 失败应对与人工监督
- 知识:幻觉回答、拒答与格式错误、替代路径与分级降级、人工审核节点与权限、用户告知(《人工智能基本法》第31条)与反馈
- 技能:针对各类失败设计应对策略、明确人工介入的条件与方式
领域 5. 发布与运营
- 知识:分阶段发布与实验、运营指标与告警、模型与提示词变更管理、事故应对与复盘
- 技能:确定发布范围与终止标准、根据运营数据确定改进优先级