考核说明
- 题目数
- 30
- 考核时间
- 45 分钟
- 及格线
- 70 分
- 建议经验
- 具备白带(AI素养)水平的基本功,在实际工作中使用生成式AI 3个月以上
所有题目均为五选一,在 OMR 答题卡上填涂。多选题和正误判断题以方框内选项组合的形式出题,排序题和匹配题以排列形式出题。判断型题目(L3)每题 3 分,其余每题 2 分;原始分换算为百分制后评定为 1~9 等级。
考核领域
1. 指令设计25%
2. 示例与结构化20%
3. 上下文工程25%
4. 推理与多步骤任务15%
5. 评估与改进15%
比例以晋级考核为准。修炼和模拟考核的领域构成可能不同。
考核什么
- 设计明确写出任务目标、约束和成功标准的指令
- 用示例、结构化标签和输出格式提高结果的一致性
- 在上下文预算内编排长文档、对话和工具结果
- 用评估标准和测试集验证提示词的修改
- 诊断并修正失败模式(遗漏指令、格式崩坏、过度泛化)
适合人群
- 对AI产出质量负责的策划、营销和研究人员
- 管理公司内部提示词模板的负责人
- 尚处于API开发之前阶段的从业者
不涉及模型训练和基础设施搭建。
领域详情
领域 1. 指令设计
- 知识:角色、目标、约束与成功标准、正面表述的指令、说明理由、系统、开发者和用户消息的作用
- 技能:把模糊的需求改写为可验证的指令、梳理相互冲突的指令
领域 2. 示例与结构化
- 知识:few-shot示例的多样性、结构化标签(如XML)、输出schema、预填充与格式固定
- 技能:减少示例带来的偏差、指定机器可读的输出格式
领域 3. 上下文工程
- 知识:上下文窗口预算、长文档的排列顺序、先让模型给出引文、对话摘要与压缩、检索增强的原理
- 技能:只挑选必要的信息放入、让模型从长文档中引用依据
领域 4. 推理与多步骤任务
- 知识:推理模型与推理强度、任务分解、提示词链、自我审查
- 技能:把多步骤任务拆成分步提示词、根据成本和延迟调整推理强度
领域 5. 评估与改进
- 知识:评估标准(评分量表)、测试集、回归、LLM评估器的局限
- 技能:用同一测试集比较修改前后、对失败案例分类以决定下一步修改
官方文档
Anthropic
黄带教材 · 提示词与上下文工程师
练习、模拟考核和所有教材均免费。仅参加正式测试时付费。