| 无状态（stateless） |
服务器不保存之前请求的状态，每次请求必须包含所需全部信息的方式 |
| 响应契约 |
以可验证条件写出输入前提、必需输出、禁止事项、暂缓条件、验收标准的文档 |
| 系统提示词 |
所有请求共用的角色与规则。Anthropic通过顶层system发送，Gemini通过system_instruction发送 |
| instructions |
OpenAI Responses API以请求为单位的上层指令，不从上一轮延续 |
| 预填充（prefill） |
预先填写assistant消息开头以规定答案起始内容的技巧。Claude 4.6及之后模型不支持 |
| 信任边界 |
区分自编指令与待处理外部资料的界线 |
| 间接提示词注入 |
通过网页、邮件、文件等外部资料中隐藏的指令，试图改变模型行为的攻击 |
| token |
模型处理文本的单位，计费、速率限制、上下文窗口的基准 |
| 上下文窗口 |
单次请求中输入、输出与推理token共用的全部容量 |
| 上下文腐化（context rot） |
上下文token越多，准确率与信息召回能力越下降的现象 |
| 最大输出 |
max_tokens、max_output_tokens。生成token上限，并非目标长度 |
| 推理（思考）token |
模型回答前用于内部推理的token，按输出计费，并包含在输出上限内 |
| 停止原因 |
响应停止的原因。Anthropic为stop_reason，OpenAI为status与incomplete_details |
| 拒绝（refusal） |
安全分类器或模型拒绝响应的状态。Anthropic返回HTTP 200 |
| temperature |
使下一token候选概率分布更尖锐或更平坦的采样参数 |
| 推理强度（effort） |
调节模型token使用量与推理量的旋钮。Anthropic为output_config.effort，OpenAI为reasoning.effort |
| 压缩（compaction） |
缩减长对话上下文，仅保留下轮所需状态的功能 |
| 结构化输出 |
限制输出遵循指定JSON schema的功能 |
| JSON模式 |
仅保证有效JSON，不保证遵循schema的输出方式 |
| strict模式 |
在支持的schema范围内，约束响应或工具参数遵循schema的选项。拒绝、输出中断、供应商例外（如枚举大小写）需另行处理 |
| 语义校验 |
检查格式正确的结果是否满足总额、日期顺序、状态等业务规则的步骤 |
| 工具调用（函数调用） |
模型提出工具名称与参数，由应用执行的方式 |
| tool_choice |
决定模型是否使用工具及使用对象的选项 |
| 并行工具调用 |
在一次响应中同时请求多个工具 |
| 推理条目、思考区块 |
推理模型随工具调用返回的信息，必须在下一请求中原样回传 |
| 过度授权 |
因功能、权限、自主性超过必要范围，导致模型输出引发有害行动的风险（OWASP LLM06） |
| TTFT |
从请求到首个输出片段到达的时间 |
| p95 |
测量值排序后，最慢5%开始处的分界值 |
| 提示词缓存 |
复用请求前缀的处理结果，降低输入成本与延迟的功能。输出每次重新生成 |
| 响应缓存 |
直接返回旧答案的缓存。若还匹配语义相近问题，则称语义缓存 |
| 批处理API |
以优惠价格异步处理不需要即时响应的大量请求的API |
| 处理档位 |
对同一模型请求选择更便宜但更慢，或更贵但更快的处理方式（service_tier等） |
| 升级（escalation） |
小模型结果未通过校验时，由更高档模型重新处理 |
| 每项任务成本 |
调用、重试、审核成本之和，除以通过质量标准的任务数 |
| 结果未知 |
未收到响应，无法知道服务器是否已执行操作的状态 |
| 速率限制 |
一定时间内允许的请求、token限额（RPM、ITPM、OTPM、TPM等） |
| 令牌桶 |
容量持续补充，而非固定时刻重置的限制方式 |
| 支出上限 |
指定期间（如每月）的费用上限。达到后无法靠重试解除 |
| 指数退避 |
每次重试指数增加等待时间的方法 |
| 幂等性 |
同一请求多次发送，与发送一次结果相同的性质 |
| 幂等键 |
请求携带的逐操作唯一值，使同一操作只处理一次。同一操作重试沿用同键 |
| 死信队列 |
将反复失败输入单独移入，避免阻塞其他任务的队列（dead letter queue） |
| 熔断器 |
失败率高时暂停调用，转备用路径的机制 |
| 舱壁 |
按功能拆分并发资源，避免故障蔓延的设计 |
| 成功标准 |
具体、可测量、可实现、与目的相关的合格条件 |
| 评估集 |
用相同标准比较变更前后质量的固定输入、预期结果、评分方法集合 |
| 量规 |
LLM或人工评分时遵循的判定条件表 |
| 模型快照 |
行为固定的特定模型版本 |
| 配置组合 |
统一管理模型ID、提示词与schema及工具版本、参数、SDK版本的单位 |
| 请求ID |
供应商为每个响应附加的唯一标识符。Claude API使用request-id头 |
| 假名化 |
删除、替换部分个人信息，使之在没有附加信息时无法识别特定个人的处理（韩国《个人信息保护法》第2条） |
| ZDR |
零数据保留（zero data retention）合同，适用范围因供应商与功能而异 |