LLM API开发者教材

目录

1. 如何使用本教材
2. 第 1 章 API基础与消息设计

   API调用是一张点菜单 · 消息角色与优先级 · 信任边界：区分指令与资料 · 谁来保存对话状态 · 什么是token · 上下文窗口与token预算 · 最大输出是上限 · 将停止原因转换为状态 · 采样参数的原理与现状 · 推理强度与思考设置 · 模型选择：档位、功能、限额 · 从需求推导模型与参数 · 为什么相同请求会得到不同答案 · 处理长对话的三种方法

3. 第 2 章 结构化输出与工具调用

   结构化输出是一副模具 · 各厂商的启用方式与选择依据 · strict规则与厂商差异 · 从业务概念推导schema · 分三层校验 · 工具定义是执行契约 · 将工具调用循环实现为状态机 · 将结果回传到对话 · 并行工具调用 · tool_choice与强制调用 · 推理模型与工具循环 · 执行权限由服务器掌握 · 工具越来越多时 · 流式传输中的结构化结果

4. 第 3 章 性能与成本优化

   将延迟分段 · 降低延迟的七项原则 · 流式输出如何工作 · 设计完整流式链路 · 提示词缓存原理 · 各厂商缓存比较 · 编排提示词以提高缓存命中率 · 缓存的盈亏平衡点 · 批处理API · 选择处理档位 · 模型档位路由与升级 · 判断延迟与成本的权衡 · 响应缓存何时有风险 · 如何公平比较优化实验

5. 第 4 章 可靠性与错误处理

   成功、失败，以及结果未知 · 错误分类表 · 筛选可重试错误的决策表 · 速率限制的结构 · 如何解读429 · 指数退避与抖动 · 重试集中一处，控制在预算内 · 分层设计超时 · 幂等性：按两次也只执行一次 · 恢复中断响应 · 恢复部分失败 · 防止故障蔓延 · 剖析重试风暴 · 注入失败以验证恢复策略

6. 第 5 章 评估与运维

   运维就是仪表飞行 · 先确定成功标准 · 构建评估集 · 选择评分方法 · 校准LLM评分器 · 解读结果：波动与分组 · 固定模型版本 · 更换模型前进行回归评估 · 日志与追踪 · 处理个人信息 · 定义运维指标 · 按功能拆分成本与限额 · 避免绑定评估工具 · 将反馈回流到评估集

7. 附录 A 术语表
8. 附录 B 自测答案与解析
9. 附录 C 考试当天指南
10. 附录 D 参考文档列表