AI 보안 수련서

차례

1. 이 수련서 사용법
2. 1장. 위협 모델링

   왜 LLM 앱에는 따로 위협 모델이 필요한가 · 위협 모델링의 네 질문 · 자산: 무엇을 지키는가 · 공격 표면과 공격자의 통제 범위 · 신뢰 경계와 데이터 흐름도 · STRIDE를 LLM 구성 요소에 적용하기 · OWASP Top 10 for LLM Applications 2025 · 항목 사이의 연쇄: 하나의 사고를 여러 번호로 읽기 · 에이전트로 넓히기: OWASP Top 10 for Agentic Applications 2026 · 프레임워크 지도: NIST AI RMF, Google SAIF, MITRE ATLAS · 위험의 우선순위와 잔여 위험 기록 · 상태를 가진 시스템: 입력 시점과 피해 시점이 다르다 · 위협 모델을 요구사항과 검증 항목으로 바꾸기

3. 2장. 프롬프트 인젝션

   정의와 근본 원인 · 직접 인젝션과 간접 인젝션: 두 위협 모델 · 탈옥과의 차이 · 공격이 성립하는 다섯 단계 · 경유 경로 지도: 모델이 사용자를 대신해 읽는 모든 것 · 도구 결과와 도구 정의도 입력이다 · 피해의 세 갈래: 행동 탈취, 정보 반출, 답변 오염 · 왜 완벽한 차단이 없는가 · 완화책 1: 분리·표시·구조화 · 완화책 2: 선별과 탐지 · 완화책 3: 권한 분리·확인·출력 제한과 그 조합 · 정상 업무와 공격의 경계: 인용·번역·보안 교육 자료 · 여러 턴과 기억에 걸친 인젝션 · 사람 확인의 함정: 승인 피로와 신뢰 악용

4. 3장. 데이터 보호와 권한

   민감 정보는 어디서 새는가: 데이터 수명주기 · 최소화·가림·가명 처리 · 외부 AI 서비스로 보내는 데이터의 조건 · 시스템 프롬프트는 비밀이 아니다 · RAG와 벡터 저장소의 권한 · 과도한 대리권: 세 뿌리와 여덟 가지 예방책 · 도구 권한 최소화를 설계로 옮기기 · 위임과 신원: 누구의 권한으로 실행되는가 · 출력은 신뢰하지 않는 입력이다 · 출력의 안전한 렌더링 · 모델이 고른 주소와 코드: SSRF와 코드 실행 · 승인과 실행을 묶기 · 파생 데이터의 격리: 캐시·메모리·요약·내보내기

5. 4장. 방어 검증과 레드팀

   가드레일의 지도: 어디에 무엇을 두는가 · 검사는 언제 끝나는가: Agents SDK 사례 · 분류기: 판정 엔진의 종류와 한계 · 실패 동작: 판정이 나오지 않을 때 · 레드팀의 정의와 교전 규칙 · 공격 시나리오 설계 · 남이 정리한 공격 목록으로 범위 넓히기 · 평가 세트 구성 · 성공 판정: 결과로 판정하라 · 방어 효과 측정 지표 · 지속 모니터링과 회귀 · 몇 번 돌려야 하나: 확률적 결과의 해석 · 통제 조합의 효과를 비교하는 실험

6. 5장. 운영 보안과 사고 대응

   감사 로그는 무엇을 증명해야 하는가 · 로그 자체를 지키기 · 사용자 식별과 남용 추적 · 무제한 소비의 모습 · 예산과 차단 장치 · 공급망 1: 모델과 모델 파일 · 공급망 2: 도구·플러그인·MCP 서버 · 구성 명세와 AI BOM, 모델의 수명주기 · 탐지 신호 설계 · 사고 대응 절차 · 차단 스위치와 안전한 축소 운영 · 개인정보 유출 통지와 기록 · 증거 보존과 개인정보의 균형 · 메모리·색인·캐시 오염의 복구

7. 부록 A. 용어집
8. 부록 B. 셀프 체크 정답과 해설
9. 부록 C. 시험 당일 가이드
10. 부록 D. 참고 문서 목록