AI 서비스 기획 수련서

차례

1. 이 수련서 사용법
2. 1장. AI 적용 판단

   AI 적용 판단이란 무엇인가 · 해법의 사다리 · 규칙과 조회가 이기는 경우 · 검색이 이기는 경우 · 모델이 필요한 문제 · AI가 맞지 않는 문제 · 자동화와 보조 · 워크플로와 에이전트를 고르는 기준 · 데이터 조건 · 비용 조건 · 고영향 영역 해당 여부 · 자동화된 결정과 개인정보 보호법 · AI가 필요 없는 요구를 걸러 내는 질문 · AI 적용 판단 메모 · "모델이 좋아지면 하자"는 판단의 함정 · 사람이 결정하면 위험이 사라지는가 · 비용 비교에서 빠지기 쉬운 항목

3. 2장. 요구사항과 성공 기준

   AI 기능의 요구사항은 무엇이 다른가 · 판정 가능한 성공 기준 · 성공 기준의 여러 차원 · 정밀도와 재현율 · 모호한 요구를 기준으로 바꾸는 절차 · 입력 계약 · 출력 계약 · 품질·지연·비용의 균형 · 사용자에게 보이는 실패 경험 · 출시 차단 기준과 개선 목표 · 기준값의 근거 · 요구사항 문서의 구조 · 지표 하나로 줄이고 싶은 유혹 · 오류의 크기도 기준이 된다 · 일관성은 언제 요구사항인가

4. 3장. 평가 설계

   평가란 무엇인가 · 평가 과정의 다섯 단계 · 평가 세트의 대표성 · 경계 사례와 드문 고위험 사례 · 평가 세트의 출처와 크기 · 보류 세트와 과적합 · 세 가지 채점 방식 · 채점 방식을 고르는 순서 · LLM 채점기를 믿을 수 있게 만들기 · 사람 채점의 자리 · 역량 평가와 회귀 평가 · 오프라인 평가와 온라인 지표 · 한 번 성공과 매번 성공 · 평가 결과로 출시 여부 판단하기 · 평가 계획서 · 점수가 오르면 좋아진 것인가 · 평가 세트의 수명 · 온라인 지표의 귀속 문제

5. 4장. 실패 대응과 사람의 감독

   실패는 기획의 일부다 · 지어낸 답 · 거절과 과잉 거절 · 형식 오류 · 일시적 장애와 재시도 · 대체 경로와 단계적 축소 · 실패 유형별 대응표 · 사람의 개입 지점 · 검토자의 권한과 근거 · 신뢰 보정과 확신 표시 · 이용자 고지 · 피드백과 통제 · 형식적 승인의 함정 · 다른 모델로 자동 전환의 함정 · 면책 문구는 대응이 아니다

6. 5장. 출시와 운영

   출시는 측정의 시작이다 · 출시 범위 정하기 · 출시 방식 비교 · 카나리 설계 · 중단 기준과 되돌리기 · A/B 실험의 조건 · 운영 지표의 층 · 알림 설계 · 모델·프롬프트 변경 관리 · 사고 대응 · 비난 없는 회고 · 운영 데이터로 개선 우선순위 정하기 · 단계적 출시 계획서 · 지표를 바꾸고 싶은 유혹 · 조용한 품질 저하 · 기능을 끄는 결정

7. 부록 A. 용어집
8. 부록 B. 셀프 체크 정답과 해설
9. 부록 C. 시험 당일 가이드
10. 부록 D. 참고 문서 목록