부록 B. 셀프 체크 정답과 해설

1장

1-1. 목록으로 답하려는 질문을 먼저 정하고, 그 질문에 답하는 데 필요한 항목만 목록에 넣는다는 뜻입니다. 개인정보 위험을 판단하려면 "다루는 데이터의 종류와 개인정보·민감정보 포함 여부"와 "공급자·위탁 관계(데이터가 누구에게 가는가)"가 필요합니다. 이름, 부서, 비용만으로는 이 질문에 답할 수 없습니다.

1-2. 재택근무 중인 직원의 접속은 회사 프록시를 거치지 않으므로 프록시 기록에 나타나지 않습니다. 보완 출처로는 개인 결제 후 경비를 청구했다면 카드·경비 정산 내역, 회사 계정으로 가입했다면 SSO 앱 목록과 로그인 기록이 있습니다. 기존 SaaS의 내장 기능은 관리자 설정과 벤더 공지로 따로 확인합니다.

1-3. 규모(이용 횟수, 부서, 기간)를 독립 증거로, 위험의 크기(어떤 데이터가 나갔는가)를 표본으로, 원인(승인 절차가 수요를 따라가는가)을 면담과 절차 검토로 밝힙니다. 이용자 명단을 징계용으로 넘기는 일은 하지 않습니다. 징계 여부는 경영진의 결정이고, 감사가 맡으면 경영진의 책임을 떠맡게 되며 원인 해소에도 도움이 되지 않습니다.

1-4. 예비 조사에서 여러 신호를 모았을 때 가장 두드러진 신호가 시간과 절차를 모을 곳을 정한다는 원칙입니다. 외부 개발사가 운영하는 모델이 2년째 바뀌지 않았고 사람 검토도 작동하는데 계약에 감사권과 변경 통지가 없다면, 변경 관리보다 계약과 수탁 관리가 감사의 중심이 됩니다. 같은 모델이라도 최근 교체가 잦았다면 중심은 변경 관리로 옮겨 갑니다.

1-5. 쓸 수 있습니다. Yellow Book은 기준에 표준, 정해진 업무 관행, 벤치마크가 들어갈 수 있다고 하고(GAO 8.124), IIA 기준은 가장 관련 있는 기준을 찾아 쓰라고 합니다(IIA 13.4). 보고서에는 그 기준을 고른 이유와, 그 기준이 법적 의무가 아니라는 성격을 밝힙니다.

1-6. 위험관리방안과 설명 방안의 주요 내용, 이용자 보호 방안, 관리·감독자의 성명과 연락처를 게시한 화면, 책무 이행 근거를 5년간 보관하는 체계와 실제 보관 문서(시행령 제27조제2항), 이용사업자라면 개발사업자에게서 받은 자료와 중대한 기능 변경이 없었다는 근거가 요청 목록에 들어갑니다.

1-7. 예시 설계: ① 감사 책임자가 그 위원회에 한시적으로 책임을 졌으므로, 그 영역의 보증은 맡은 기간과 이후 12개월 동안 독립된 제3자(예: 이사회에 독립적으로 보고하는 외부 보증 제공자)가 제공하게 한다. ② 감사 책임자는 위원회 간사 책임을 경영진에 넘길 계획을 세우고, 위원회 운영에 관여한 내부감사 인력은 관련 업무에서 뺀다. ③ 이 객관성 문제와 조치를 계획서에 기록해 이사회와 공유한다. ①과 ②의 앞부분은 IIA 7.1의 요구이고(감사 책임자가 책임진 기능의 보증은 외부 독립 감독이 필요하다는 IIA 2.2와 같은 취지), 나머지는 그 요구를 실행하는 방법입니다.

2장

2-1. 설계 효과성은 "판정 기준 변경도 승인 대상"으로 정한 정책이 그대로 지켜진다면 검토 없는 변경을 막을 수 있는지를 봅니다. 운영 효과성은 지난 1년 동안 실제 판정 기준 변경이 모두 승인을 거쳤는지, 승인자에게 권한과 역량이 있었는지를 봅니다.

2-2. 운영 미비입니다. AS 2201 .A3은 통제를 수행하는 사람이 효과적으로 수행하는 데 필요한 권한이나 역량을 갖추지 못한 경우를 운영 미비로 정의합니다. 다만 교육 없이 배치하는 것을 허용하는 절차 자체가 문제라면 원인 분석에서 함께 다룹니다.

2-3. 질문, 관찰, 문서 검사, 재수행의 순서입니다(AS 2201 .50). 질문은 담당자의 진술일 뿐, 통제가 기간 동안 실제로 수행됐는지 보여 주는 독립된 증거가 아니므로 그것만으로는 결론의 근거가 될 수 없습니다.

2-4. 권한, 정보, 시간, 역량입니다. 권한이 없으면 사람 의견과 다를 때도 AI 결과가 자동 적용되고, 정보가 없으면 원자료를 열지 않고 확정하는 건이 많으며, 시간이 없으면 건당 처리 시간이 원자료를 읽기에 너무 짧고, 역량이 없으면 번복 사유가 기준과 맞지 않거나 번복이 거의 없습니다.

2-5. 모델 재학습·교체, 판정 기준 점수 조정, 지시문 수정, 지식 문서 갱신, 벤더의 기반 모델 교체입니다. 전통적인 변경 관리에서 놓치기 쉬운 두 가지는 지시문 수정과 지식 문서 갱신입니다. 코드가 바뀌지 않아도 결과가 바뀌기 때문입니다.

2-6. 종류(설계만 다뤘는가, 운영 효과성을 테스트했는가), 범위(어떤 통제 목적을 다뤘는가), 기간(감사 대상 기간을 덮는가, 얼마나 지났는가), 이용자 측 보완 통제입니다. AI 고유의 위험과 가장 자주 부딪치는 것은 범위이고, 모델이 자주 바뀌는 서비스라면 기간도 자주 문제가 됩니다. 보고서가 흔히 접근 관리와 가용성만 다루고, 고객 데이터의 모델 학습 이용이나 예고 없는 모델 교체는 다루지 않기 때문입니다.

2-7. 예시: ① 에이전트가 쓸 수 있는 도구와 권한의 목록이 있고 정기적으로 검토되는가? ② 그 권한은 업무에 필요한 최소한인가(예: 환불 한도, 발송 대상 제한)? ③ 되돌리기 어려운 작업(환불 실행, 대량 발송)에 사람의 승인이 걸려 있는가? ④ 에이전트의 행동 기록은 에이전트와 운영자가 고칠 수 없는 곳에 남는가?

3장

3-1. 관련성, 타당성, 신뢰성입니다. 만족도는 답변이 친절하거나 그럴듯했는지를 반영할 수 있지만 정확성을 나타내지 못하므로, 측정하려는 것을 실제로 나타내는 정도인 타당성에서 약합니다.

3-2. 정보의 정확성과 완전성을 직접 테스트하는 방법과, 그 정보를 만드는 과정의 통제를 테스트하는 방법입니다(AS 1105 .10). 이번 감사를 위해 한 번 수작업으로 만든 자료라면 직접 테스트가, 효과적인 통제 아래 자동으로 반복 생성되는 자료라면 통제 테스트가 알맞습니다.

3-3. 특정 항목 선택의 결과는 모집단 전체로 추정할 수 없습니다(AS 1105 .27). 보고서에는 선정 기준과 검토 건수를 밝히고, "선정한 고위험 건 가운데 몇 건"처럼 결론을 그 범위로 제한해 씁니다(GAO 9.21).

3-4. 허용 이탈률, 예상 이탈률, 통제를 지나치게 신뢰할 위험입니다(AS 2315 .38). 모집단 크기는 모집단이 아주 작지 않다면 표본 크기에 거의 영향을 주지 않습니다.

3-5. 표본 위험, 즉 표본 이탈률이 허용 이탈률보다 낮더라도 실제 모집단 이탈률이 허용치를 넘을 가능성과, 이탈의 질적 측면, 즉 그 이탈이 단순 실수인지 의도적 우회인지와 그 원인입니다(AS 2315 .41–.42). 필요하면 표본을 늘리거나 다른 증거를 더합니다.

3-6. 결정적 점수 모델은 같은 입력에 같은 결과를 내므로 승인된 버전으로 다시 계산해 기록과 비교할 수 있습니다. 생성형 모델은 같은 입력에도 출력이 달라질 수 있어 다시 실행한 결과로 과거 기록을 판단할 수 없으므로, 기록된 입력과 출력으로 판단이 기준에 맞았는지를 재수행합니다. 필요한 로그는 입력 원문, 출력 원문, 모델·지시문·지식 문서의 버전 정보입니다.

3-7. 예시: ① 감사 목적에 맞게 "부정 의심"의 판정 기준을 글로 정한다. ② 도구의 데이터 처리 조건을 확인한 뒤, 감사인이 기준에 따라 직접 판정한 대표 검증 표본으로 도구가 잘못 잡은 비율과 놓친 비율을 따로 잰다. ③ 두 비율이 각각 허용 범위 안이면 전체를 분류하고, 도구가 걸러 낸 건은 원문으로 확인하며, '해당 없음' 건에서도 표본을 뽑아 놓친 건이 없는지 본다. ④ 지시문, 모델 버전, 실행 일시, 입력 건수, 검증 결과를 조서에 남긴다.

4장

4-1. TP 150, FP 150, FN 50입니다. 재현율 = 150 ÷ 200 = 75%, 정밀도 = 150 ÷ 300 = 50%, 다수 클래스 기준선, 즉 모든 거래를 정상으로 판정할 때의 정확도 = 199,800 ÷ 200,000 = 99.9%입니다.

4-2. 타당성 확인은 특정한 의도된 사용의 요구사항이 충족됐음을 객관적 증거로 확인하는 것, 즉 "이 용도에 맞게 제대로 하는가"를 묻습니다. 신뢰성은 주어진 조건에서 주어진 기간 동안 실패 없이 요구된 대로 작동하는 능력, 즉 "정해진 사용 조건에서 정해진 기간 동안 실패 없이 요구대로 작동하는가"를 묻습니다. 다양한 상황에서 성능을 유지하는지는 견고성의 질문입니다.

4-3. 분리입니다(분리되지 않아 생기는 문제를 데이터 누수라고 합니다). 행을 무작위로 섞어 나누면 같은 고객이나 같은 계정의 기록이 학습과 평가 양쪽에 들어가, 모델이 개별 특징을 외워 점수가 실제보다 높게 나올 수 있습니다. 고객이나 계정 단위로 나눠 다시 평가합니다.

4-4. 체계적 편향, 계산·통계적 편향, 사람의 인지적 편향입니다. NIST는 이 세 가지가 모두 선입견이나 차별 의도 없이도 생길 수 있다고 설명하므로, 의도가 없었다는 사실은 편향이 없다는 증거가 되지 못합니다.

4-5. 정답 자체가 과거 사람의 판단이라 그 판단에 담긴 치우침이 정답에 들어 있습니다. 과거 결정과 많이 일치한다는 것은 그 치우침까지 잘 따라 한다는 뜻일 수 있습니다. 실제 상환 결과 같은 독립된 기준과 대조해 라벨부터 점검해야 합니다.

4-6. 판정 기준 점수 조정은 오류 유형별·집단별 지표의 전후 비교, 지식 문서 일부 갱신은 그 문서가 근거가 되는 질문 중심의 회귀 평가, 기반 모델 교체는 배포 전 전면 재평가와 승인이 알맞습니다.

4-7. 예시: 평가 질문 세트는 실제 문의 유형의 분포를 반영하되 자격 요건, 소득 기준, 신청 기한처럼 틀리면 피해가 큰 유형을 충분히 넣는다. 채점 기준은 공고문과 지침 원문 대조로 정하고, 두 명이 독립 채점해 일치율을 본다. 고위험 유형은 평균과 별도로 정확도를 보고한다. 운영 중에는 고위험 유형의 표본 정확도, 이의 제기 건수, 상담원 수정 비율을 매달 보고 기준을 넘으면 대응한다. 수정 비율은 자동화 편향 때문에 낮게 나올 수 있으므로, 수정 없이 발송된 답변의 표본을 독립적으로 다시 검토해 함께 본다.

5장

5-1. 기준, 현황, 원인, 영향입니다. Yellow Book은 감사 목적에 필요한 범위에서 네 요소를 전개하라고 하며, 목적이 현황 확인뿐이라면 현황만 전개해도 된다고 설명합니다(GAO 8.116, 8.128).

5-2. 직원 개인의 행동에서 멈추면 권고가 교육이나 문책이 되고 같은 일이 다른 직원에게서 반복됩니다. 그 직원이 왜 반영하지 않았는지 증거로 더 따라가야 합니다. 더 나은 원인 문장의 예: "기준 개정을 지식 문서에 반영할 책임자와 기한이 정해져 있지 않아, 개정 사실이 운영 부서에 전달되지 않았다."

5-3. 미비의 심각성은 실제 피해가 생겼는지가 아니라 통제가 오류를 막거나 찾아내지 못할 합리적 가능성과 그 잠재적 크기에 달려 있습니다(AS 2201 .63–.64). 따라서 회사의 등급 기준을 그 가능성과 크기에 적용해 정합니다.

5-4. 실행 권한이 있는 쪽에 주어지고, 구체적이며, 실행할 수 있고, 비용 대비 효과적이며, 측정할 수 있어야 합니다. "AI 관리 체계를 강화할 것"은 수신자, 구체적인 조치, 측정 방법이 없고, 원인과의 연결도 보이지 않습니다.

5-5. ① 의견이 발견 사항과 충돌하므로 그 타당성과 뒷받침하는 증거를 평가한다. ② 의견이 충분하고 적합한 증거로 뒷받침되면 보고서를 고친다. ③ 그렇지 않으면 발견 사항을 유지하고, 책임자의 서면 의견(또는 그 요약)과 함께 동의하지 않는 이유를 보고서에 싣는다. 피감 조직의 동의는 보고서 발행의 조건이 아닙니다.

5-6. (가) 분기마다 수행하는 수작업 점검은 몇 차례 운영된 뒤 기간 중 수행 기록을 표본으로 테스트해야 종결할 수 있습니다. (나) 시스템 설정 변경은 설정을 직접 확인하고 시험 입력으로 작동을 본 뒤, 효과적인 변경 관리 아래에서 그 뒤 설정이 바뀌지 않았음을 확인하면 종결할 수 있습니다.

5-7. 예시: ① 경영진의 결정과 그 이유, 결정권자를 문서로 받는다. ② 감사 책임자가 받아들인 위험이 조직의 위험 성향·허용 한도 안인지 판단한다. ③ 한도 안이라면 수용 결정과 근거를 추적 시스템에 기록하고 그 발견 사항의 추적을 마친다. ④ 한도를 넘는다면 최고경영진과 논의하고, 해결되지 않으면 이사회에 알린다. 위험 수용과 조치의 책임은 경영진에 있으므로, 감사팀이 대신 통제를 만들어 주지 않는다.