| 무상태(stateless) |
서버가 이전 요청을 기억하지 않아, 요청마다 필요한 정보를 모두 담아야 하는 방식 |
| 응답 계약 |
입력 전제, 필수 출력, 금지 사항, 보류 조건, 수용 기준을 검증 가능한 조건으로 적은 문서 |
| 시스템 프롬프트 |
모든 요청에 공통인 역할과 규칙. Anthropic은 최상위 system, Gemini는 system_instruction으로 보낸다 |
| instructions |
OpenAI Responses API의 요청 단위 상위 지시. 이전 턴으로 이어지지 않는다 |
| 프리필(prefill) |
assistant 메시지 앞부분을 미리 채워 답의 시작을 정하는 기법. Claude 4.6 이후 모델은 지원하지 않는다 |
| 신뢰 경계 |
우리가 쓴 지시와 처리할 외부 자료를 나누는 선 |
| 간접 프롬프트 인젝션 |
웹 페이지, 메일, 파일 같은 외부 자료에 숨긴 지시로 모델의 행동을 바꾸려는 공격 |
| 토큰 |
모델이 텍스트를 처리하는 단위. 과금, 레이트 리밋, 컨텍스트 창의 기준 |
| 컨텍스트 창 |
한 요청에서 입력, 출력, 추론 토큰이 함께 쓰는 전체 분량 |
| 컨텍스트 부패(context rot) |
컨텍스트의 토큰이 늘수록 정확도와 회상이 떨어지는 현상 |
| 최대 출력 |
max_tokens·max_output_tokens. 생성할 토큰의 상한이며 목표 길이가 아니다 |
| 추론(사고) 토큰 |
모델이 답하기 전에 내부 추론에 쓰는 토큰. 출력으로 과금되고 출력 상한에 포함된다 |
| 중단 사유 |
응답이 멈춘 이유. Anthropic stop_reason, OpenAI status·incomplete_details |
| 거절(refusal) |
안전 분류기나 모델이 응답을 거절한 상태. Anthropic에서는 HTTP 200으로 온다 |
| temperature |
다음 토큰 후보 분포를 날카롭게 또는 평평하게 만드는 샘플링 파라미터 |
| 추론 강도(effort) |
모델이 쓰는 토큰과 추론의 양을 조절하는 손잡이. Anthropic output_config.effort, OpenAI reasoning.effort |
| 압축(compaction) |
긴 대화의 맥락을 줄여 다음 턴에 필요한 상태만 남기는 기능 |
| 구조화 출력 |
지정한 JSON 스키마를 따르도록 출력을 제한하는 기능 |
| JSON 모드 |
유효한 JSON만 보장하고 스키마 준수는 보장하지 않는 출력 방식 |
| strict 모드 |
지원하는 스키마 범위에서 응답이나 도구 인자를 스키마에 맞게 제약하는 옵션. 거절·출력 중단과 공급자별 예외(예: 열거값 대소문자)는 따로 처리한다 |
| 의미 검증 |
형식이 맞는 결과가 합계, 날짜 순서, 상태 같은 업무 규칙을 만족하는지 확인하는 단계 |
| 도구 호출(함수 호출) |
모델이 도구 이름과 인자를 제안하고 애플리케이션이 실행하는 방식 |
| tool_choice |
모델의 도구 사용 여부와 대상을 정하는 옵션 |
| 병렬 도구 호출 |
한 응답에서 여러 도구를 함께 요청하는 것 |
| 추론 항목·사고 블록 |
추론 모델이 도구 호출과 함께 돌려주는 정보. 다음 요청에 받은 그대로 되돌려야 한다 |
| 과도한 위임 |
필요 이상의 기능·권한·자율성 때문에 모델 출력이 해로운 행동으로 이어지는 위험(OWASP LLM06) |
| TTFT |
요청부터 첫 출력 조각이 도착하기까지의 시간 |
| p95 |
측정값을 정렬했을 때 느린 쪽 5%가 시작되는 경계값 |
| 프롬프트 캐싱 |
요청 앞부분의 처리 결과를 재사용해 입력 비용과 지연을 줄이는 기능. 출력은 매번 새로 만든다 |
| 응답 캐시 |
이전에 만든 답을 그대로 돌려주는 캐시. 의미가 비슷한 질문까지 맞추면 시맨틱 캐시 |
| 배치 API |
즉시 응답이 필요 없는 대량 요청을 할인된 가격에 비동기로 처리하는 API |
| 처리 등급 |
같은 모델의 요청을 더 싸고 느리게, 또는 더 비싸고 빠르게 처리하는 선택(service_tier 등) |
| 승급(escalation) |
작은 모델의 결과가 검증에 실패할 때 상위 모델로 다시 처리하는 것 |
| 업무당 비용 |
호출·재시도·검수 비용의 합을 품질 기준을 통과한 업무 수로 나눈 값 |
| 결과 불명 |
응답을 받지 못해 서버에서 작업이 실행됐는지 알 수 없는 상태 |
| 레이트 리밋 |
일정 시간 동안 허용되는 요청·토큰의 한도(RPM, ITPM, OTPM, TPM 등) |
| 토큰 버킷 |
용량이 고정 시각에 초기화되지 않고 계속 채워지는 제한 방식 |
| 지출 한도 |
정해진 기간(예: 월)의 사용 금액 상한. 도달하면 재시도로 풀리지 않는다 |
| 지수 백오프 |
재시도할 때마다 대기 시간을 지수적으로 늘리는 방법 |
| 멱등성 |
같은 요청을 여러 번 보내도 한 번 보낸 것과 결과가 같은 성질 |
| 멱등 키 |
같은 작업을 한 번만 처리하도록 요청에 붙이는 작업 단위 고유 값. 같은 작업의 재시도에는 같은 키를 쓴다 |
| 격리 큐 |
반복 실패하는 입력을 따로 옮겨 다른 작업을 막지 않게 하는 대기열(dead letter queue) |
| 회로 차단기 |
실패율이 높으면 호출을 잠시 멈추고 대체 경로로 보내는 장치 |
| 벌크헤드 |
기능별로 동시 실행 자원을 나눠 장애가 번지지 않게 하는 설계 |
| 성공 기준 |
구체적이고 측정 가능하며 달성 가능하고 목적과 관련된 합격 조건 |
| 평가 세트 |
변경 전후 품질을 같은 기준으로 비교하는 고정된 입력, 기대 결과, 채점 방법의 묶음 |
| 루브릭 |
LLM이나 사람이 채점할 때 따르는 판정 조건표 |
| 모델 스냅샷 |
동작이 고정된 특정 모델 버전 |
| 설정 묶음 |
모델 ID, 프롬프트·스키마·도구 버전, 파라미터, SDK 버전을 함께 관리하는 단위 |
| 요청 ID |
공급자가 응답마다 붙이는 고유 식별자. Claude API는 request-id 헤더 |
| 가명처리 |
개인정보의 일부를 삭제·대체해 추가 정보 없이는 특정 개인을 알아볼 수 없게 하는 처리(「개인정보 보호법」 제2조) |
| ZDR |
무보존(zero data retention) 계약. 적용 범위는 공급자와 기능마다 다르다 |