| 프롬프트 |
모델에게 주는 지시, 맥락, 예시, 입력 전체 |
| 컨텍스트 |
모델이 한 번의 응답을 만들 때 보는 모든 토큰. 지시, 도구 정의, 문서, 이력, 도구 결과를 포함한다 |
| 컨텍스트 창 |
모델이 한 번에 참조할 수 있는 토큰의 최대치. 출력·추론 토큰을 같은 창에서 세는지는 모델마다 다르다 |
| 토큰 |
모델이 텍스트를 처리하는 단위. 글자 수와 일대일로 대응하지 않는다 |
| 컨텍스트 부패 |
토큰이 늘수록 컨텍스트 속 정보를 정확히 떠올리는 능력이 떨어지는 현상 |
| 컨텍스트 엔지니어링 |
모델이 보는 토큰 전체를 매번 골라 배치하는 일 |
| 시스템(개발자) 메시지 |
모든 대화에 공통인 역할과 규칙을 담는 자리. 사용자 메시지보다 우선하도록 설계되지만 인젝션을 완전히 막지는 못한다 |
| 대화 중 시스템 메시지 |
대화 도중에 덧붙이는 시스템 권한의 지시. 캐시를 유지한 채 규칙을 바꿀 때 쓴다 |
| 역할 부여 |
시스템 프롬프트에 관점과 어조를 정하는 문장을 넣는 기법. 지식이나 권한을 주지는 않는다 |
| 성공 기준 |
결과를 보고 잘됐는지 판정할 수 있는 관찰 가능한 조건 |
| 작업 유형 |
추출, 변환, 생성, 판단처럼 허용할 창작과 요구할 근거를 정하는 작업의 성격 |
| 적절한 고도 |
하드코딩된 규칙과 막연한 원칙 사이에서 원칙·이유·대표 사례로 판단의 틀을 주는 수준 |
| 프롬프트 인젝션 |
입력에 숨긴 문장으로 모델의 지시를 바꾸려는 공격. 직접(사용자)과 간접(제3자 내용)이 있다 |
| 최소 권한 |
모델과 도구에 작업에 필요한 최소한의 접근만 주어, 뚫렸을 때의 피해를 줄이는 원칙 |
| few-shot 예시 |
원하는 입력과 출력의 짝을 몇 개 보여 주는 방식. 예시가 없으면 zero-shot |
| 예시 편향 |
예시 묶음의 라벨 빈도, 순서, 문구 같은 치우침이 모델 판단을 기울이는 현상 |
| 경계 사례 |
두 범주 사이에 걸치거나 사람도 판단이 갈리는 입력 |
| XML 태그 |
지시·맥락·예시·입력의 경계를 표시하는 표지. 이름은 자유롭게 정하되 일관되게 쓴다 |
| 데이터 사전 |
필드의 업무상 의미, 타입·단위, 허용 값, 없을 때의 값을 정리한 표 |
| 구조화 출력 |
지정한 JSON 스키마를 따르도록 출력을 강제하는 기능 |
| JSON 모드 |
유효한 JSON만 보장하고 스키마 준수는 보장하지 않는 출력 방식 |
| enum |
허용 값 목록. 분류 라벨을 고정할 때 쓴다 |
| 프리필 |
assistant 메시지 앞부분을 미리 채워 출력을 유도하던 기법. Claude 4.6 이후 모델은 마지막 턴 프리필을 지원하지 않는다 |
| 중단 사유 |
응답이 끝난 이유. Anthropic은 stop_reason, OpenAI Responses API는 status와 incomplete_details.reason으로 알려 준다 |
| Citations |
응답의 인용 부분에 원문 위치를 붙여 돌려주는 Anthropic의 인용 기능 |
| 검색 그라운딩 |
모델이 웹 검색 결과를 근거로 답하고 출처를 붙이게 하는 기능 |
| 검색 증강 생성(RAG) |
질문 시점에 관련 자료를 검색해 컨텍스트에 넣는 방식 |
| BM25 |
단어 일치를 기반으로 한 검색 방식. 번호나 코드 같은 정확한 문자열에 강하다 |
| 맥락 검색 |
조각마다 문서 전체를 참고한 짧은 설명을 붙여 색인하는 방법 |
| 재정렬 |
검색 후보를 질문과의 관련도로 다시 줄 세워 상위만 남기는 단계 |
| 압축(compaction) |
긴 대화의 오래된 부분을 요약으로 바꿔 이어 가는 기법 |
| 컨텍스트 편집 |
오래된 도구 결과나 사고 블록을 규칙에 따라 지우는 기능 |
| 적시 로딩 |
가벼운 식별자만 유지하다가 필요할 때 도구로 내용을 불러오는 방식 |
| 하위 에이전트 |
깨끗한 컨텍스트에서 집중된 작업을 하고 요약만 돌려주는 보조 에이전트 |
| 프롬프트 캐싱 |
요청마다 같은 앞부분을 저장해 재사용하는 기능. 앞부분이 완전히 같아야 적중한다 |
| 추론 모델 |
답하기 전에 내부에서 추론 토큰을 생성해 생각하는 모델 |
| 추론 토큰 |
추론 모델이 답하기 전에 생성하는 토큰. 요약만 보이거나 보이지 않으며 출력으로 과금된다 |
| 적응형 사고 |
모델이 요청의 복잡도와 강도 설정을 보고 생각할지, 얼마나 생각할지 정하는 방식 |
| 추론 강도(effort) |
모델이 생각과 응답에 들이는 노력의 양을 조절하는 설정 |
| 출력 한도 |
한 요청이 생성할 수 있는 토큰의 상한. 추론 토큰을 포함한다 |
| 프롬프트 체이닝 |
작업을 여러 호출로 나눠 앞 단계의 출력을 다음 단계의 입력으로 쓰는 방식 |
| 라우팅 |
입력을 분류해 유형별 전용 경로로 보내는 패턴 |
| 워크플로 패턴 |
체이닝, 라우팅, 병렬화, 지휘자-작업자, 평가자-개선자처럼 여러 호출을 엮는 정해진 방식 |
| 자기 검토 |
초안을 기준에 비추어 검토하고 고치는 단계를 두는 패턴 |
| 루브릭 |
항목별 통과 조건을 정리한 채점 기준표 |
| 치명적 항목 |
하나만 실패해도 결과를 쓸 수 없어 평균과 따로 판정하는 평가 항목 |
| 테스트 세트 |
변경을 비교하려고 고정해 둔 입력과 기대 결과의 모음 |
| 확인용 세트 |
개선 중에는 열어 보지 않고 최종 판단에만 쓰는 세트(홀드아웃) |
| 회귀 |
변경 후 이전에는 되던 것이 안 되는 현상 |
| BLEU·ROUGE |
참조 답안과 단어가 얼마나 겹치는지로 점수를 매기는 지표. 의미와 사실 정확성은 재지 못한다 |
| LLM 평가자 |
모델을 채점자로 쓰는 평가 방식 |
| 위치 편향·장황함 편향 |
LLM 평가자가 먼저 제시된 답이나 긴 답을 선호하는 경향 |
| pass@k·pass^k |
k번 시도 중 한 번이라도 성공할 확률과, k번 모두 성공할 확률 |
| 능력 평가·회귀 평가 |
무엇을 잘하는지 재는 평가와, 예전에 되던 것을 여전히 하는지 재는 평가 |
| 기록(transcript) |
에이전트 시도의 출력, 도구 호출, 추론을 포함한 전체 기록 |