AI 감사 수련서

차례

1. 이 수련서 사용법
2. 1장. 감사 계획·범위와 AI 목록

   AI 감사가 답하는 질문 · 무엇을 AI로 볼 것인가 · AI 목록의 역할과 항목 · 목록의 완전성을 시험하는 방법 · 섀도 AI · 위험 기반 범위 설정 · 감사 깊이 정하기 · 감사 기준의 뜻과 출처 · 규제 매핑 ①: 인공지능기본법 · 규제 매핑 ②: 개인정보 보호법 · 프레임워크 매핑 ③: NIST AI RMF, GAO 프레임워크, ISO/IEC 42001 · 보증과 자문, 그리고 객관성 · 전문가와 이전 결과 활용 · 내장 AI를 목록에 넣을 것인가 · 감사 기준과 법률 판단의 경계 · 자문 뒤의 보증: 같은 팀이 두 번 볼 때

3. 2장. 통제 설계와 운영 효과성

   통제의 종류 · 설계 효과성과 운영 효과성 · 설계 미비와 운영 미비 · 테스트 기법과 증거의 강도 · 이탈을 만났을 때 · 사람의 검토 통제가 갖춰야 할 것 · 형식적 승인과 자동화 편향 · 형식적 검토를 찾는 테스트 고르기 · 접근 통제 · 변경 관리 통제 · 자동 통제와 기준선 전략 · 벤더 관리 통제 · 서비스 조직 보고서 읽기 · 의미 있는 사람 검토의 비용 · 에이전트의 도구 권한과 사람 승인

4. 3장. 증거 수집과 테스트·표본

   충분성과 적합성 · 관련성, 타당성, 신뢰성 · 신뢰도의 일반 원칙 · 증거를 얻는 절차 · 회사가 만든 정보 · 항목을 고르는 세 가지 방법 · 표본 추출 방법 · 표본 크기를 정하는 요인 · 표본 결과 평가 · 로그는 감사 질문에서 거꾸로 설계한다 · 재현 가능성과 재수행 · 피감 조직의 AI가 만든 증거 · 감사인이 쓰는 AI 도구 · 전수 분석의 시대에도 표본이 필요한 이유 · 에이전트 로그의 무결성

5. 4장. 모델·데이터 위험 검증

   타당성, 신뢰성, 정확도, 견고성 · 혼동 행렬과 지표 · 기준선 · 평가 세트가 갖춰야 할 조건 · 생성형 AI의 품질 측정 · 편향의 세 갈래 · 집단별 성능 검증 · 데이터 출처와 계보 · 라벨 품질 · 운영 중 변화와 모니터링 · 변경 유형과 재검증 범위 · 재검증 절차와 승인 기준 · 공정성의 기준은 하나가 아니다 · 사람과 AI가 함께 낼 때의 성능

6. 5장. 보고와 후속 조치

   발견 사항의 네 요소 · 원인 찾기 · 영향의 추정과 표현 · 위험 등급과 우선순위 · 권고 쓰기 · 경영진 의견 받기 · 결론과 보증의 표현 · 범위·방법·한계 밝히기 · 후속 확인의 원칙 · 조치 유형별 종결 증거 · 위험 수용과 보고 · AI 발견 사항의 영향은 사람에게 닿는다 · 경영진과 의견이 다를 때

7. 부록 A. 용어집
8. 부록 B. 셀프 체크 정답과 해설
9. 부록 C. 시험 당일 가이드
10. 부록 D. 참고 문서 목록