LLM API 개발자 수련서

차례

1. 이 수련서 사용법
2. 1장. API 기본과 메시지 설계

   API 호출은 주문서다 · 메시지 역할과 우선순위 · 신뢰 경계: 지시와 자료를 나눈다 · 대화 상태는 누가 들고 있나 · 토큰이란 무엇인가 · 컨텍스트 창과 토큰 예산 · 최대 출력은 상한이다 · 중단 사유를 상태로 바꾼다 · 샘플링 파라미터의 원리와 현재 · 추론 강도와 사고 설정 · 모델 선택: 등급, 기능, 한도 · 요구사항에서 모델과 파라미터로 · 같은 요청에 다른 답이 나오는 이유 · 긴 대화를 다루는 세 가지 방법

3. 2장. 구조화 출력과 도구 호출

   구조화 출력은 거푸집이다 · 벤더별로 켜는 법과 고르는 기준 · strict 스키마 규칙과 벤더 차이 · 업무 개념에서 스키마를 도출한다 · 세 단계로 검증한다 · 도구 정의는 실행 계약이다 · 도구 호출 루프를 상태 기계로 만든다 · 결과를 대화에 되돌린다 · 병렬 도구 호출 · tool_choice와 강제 호출 · 추론 모델과 도구 루프 · 실행 권한은 서버가 쥔다 · 도구가 많아질 때 · 스트리밍 중의 구조화 결과

4. 3장. 성능과 비용 최적화

   지연을 구간으로 나눈다 · 지연을 줄이는 일곱 가지 원칙 · 스트리밍의 동작 · 스트리밍 경로 전체를 설계한다 · 프롬프트 캐싱의 원리 · 벤더별 캐싱 비교 · 캐시 적중을 높이는 프롬프트 배치 · 캐시의 손익분기 · 배치 API · 처리 등급을 고른다 · 모델 등급 라우팅과 승급 · 지연과 비용의 트레이드오프를 판단한다 · 응답 캐시는 언제 위험한가 · 최적화 실험을 공정하게 비교하는 법

5. 4장. 신뢰성과 오류 처리

   성공, 실패, 그리고 결과 불명 · 오류 분류표 · 재시도할 오류를 가려내는 결정표 · 레이트 리밋의 구조 · 429를 읽는 법 · 지수 백오프와 지터 · 재시도는 한 곳에서, 예산 안에서 · 타임아웃을 층으로 설계한다 · 멱등성: 두 번 눌러도 한 번만 · 중단된 응답을 복구한다 · 부분 실패를 복구한다 · 장애가 번지지 않게 막는다 · 재시도 폭풍의 해부 · 실패를 주입해 복구 정책을 검증한다

6. 5장. 평가와 운영

   운영은 계기판 비행이다 · 성공 기준부터 정한다 · 평가 세트를 만든다 · 채점 방법을 고른다 · LLM 채점기를 보정한다 · 결과를 해석한다: 변동과 구간 · 모델 버전을 고정한다 · 모델 교체 전 회귀 평가 · 로그와 추적 · 개인정보를 다룬다 · 운영 지표를 정의한다 · 기능별로 비용과 한도를 나눈다 · 평가 도구에 묶이지 않는 법 · 피드백을 평가 세트로 되돌리는 순환

7. 부록 A. 용어집
8. 부록 B. 셀프 체크 정답과 해설
9. 부록 C. 시험 당일 가이드
10. 부록 D. 참고 문서 목록