考核说明
- 题目数
- 30
- 考核时间
- 50 分钟
- 及格线
- 70 分
- 建议经验
- 1年以上HTTP API开发经验
所有题目均为五选一，在 OMR 答题卡上填涂。多选题和正误判断题以方框内选项组合的形式出题，排序题和匹配题以排列形式出题。判断型题目（L3）每题 3 分，其余每题 2 分；原始分换算为百分制后评定为 1~9 等级。
考核领域
1. API基础与消息设计20%
2. 结构化输出与工具调用25%
3. 性能与成本优化20%
4. 可靠性与错误处理20%
5. 评估与运维15%
比例以晋级考核为准。修炼和模拟考核的领域构成可能不同。
考核什么
- 通过消息结构和参数稳定地获得预期响应
- 用结构化输出和工具调用与应用程序对接
- 通过流式输出、批处理和缓存降低延迟与成本
- 稳健地处理错误、速率限制和重试
- 通过评估和监控保持质量
适合人群
- 将LLM功能接入产品的后端与全栈开发者
- 把AI功能PoC推向生产环境的工程师
不涉及模型预训练和GPU基础设施运维。
领域详情
领域 1. API基础与消息设计
- 知识：消息角色、token与最大输出长度、temperature等采样参数、模型选择
- 技能：根据需求选择模型与参数
领域 2. 结构化输出与工具调用
- 知识：基于JSON Schema的结构化输出、工具定义、工具调用循环、并行工具调用
- 技能：按schema校验输出、把工具结果回传到对话中
领域 3. 性能与成本优化
- 知识：流式输出、提示词缓存、批处理API、按模型档位路由
- 技能：编排提示词以提高缓存命中率、权衡延迟与成本
领域 4. 可靠性与错误处理
- 知识：速率限制、指数退避、超时、幂等性、中断的响应
- 技能：区分可重试的错误、从部分失败中恢复
领域 5. 评估与运维
- 知识：评估集、日志与追踪、个人信息处理、固定模型版本
- 技能：更换模型前进行回归评估、定义运营指标
官方文档
Anthropic
红带教材 · LLM API开发者
练习、模拟考核和所有教材均免费。仅参加正式测试时付费。