5장. 보고와 후속 조치

학습 목표

  • 발견 사항을 기준·현황·원인·영향의 네 요소로 근거와 함께 쓴다.
  • 원인을 증거로 확인하고, 그 원인 가운데 조직이 대응할 수 있는 것을 겨냥한 권고를 고른다.
  • 회사가 정한 방법에 따라 발견 사항의 위험 등급과 조치 기한을 정한다.
  • 경영진 의견, 감사 범위와 한계, 표본의 추정 가능성을 보고서에 알맞게 담는다.
  • 조치의 유형에 맞는 증거로 후속 조치의 완료를 확인하고, 위험 수용을 알맞은 사람에게 보고한다.

들어가며

어느 시청의 감사팀이 AI 민원 안내 챗봇의 문제를 찾았습니다. 보고서 초안의 첫 문장은 이랬습니다. "챗봇 운영에 미흡한 점이 있으므로 관리를 강화할 것." 담당 부서는 이 문장을 읽고 고개를 끄덕였지만, 석 달 뒤에도 바뀐 것은 없었습니다. 무엇이 미흡했는지, 왜 미흡했는지, 그래서 누가 무엇을 언제까지 해야 하는지가 없었기 때문입니다.

좋은 발견 사항은 읽는 사람이 다음 행동을 알 수 있게 씁니다. 있어야 할 상태(기준)와 실제 상태(현황)의 차이를 보여 주고, 그 차이를 만든 요인(원인)과 그 차이가 낳은 결과(영향)를 증거로 뒷받침합니다. 원인을 정확히 짚어야 권고가 효과를 내고, 영향을 추정해야 조치의 시급성을 정할 수 있습니다. 그리고 감사는 보고서를 낸 날 끝나지 않습니다. 권고가 실제로 원인을 해소했는지 확인해야 비로소 끝납니다. AI 감사의 발견 사항은 시민이나 고객에게 직접 닿는 경우가 많아, 권고 이행을 확인하는 이 후속 단계의 무게가 더 큽니다.

이 장은 발견 사항의 네 요소와 원인 찾기, 영향 추정, 위험 등급을 먼저 다룹니다. 이어서 권고와 경영진 의견, 결론의 표현, 범위와 한계를 보고서에 담는 방법을 익히고, 마지막으로 후속 확인의 방법과 경영진이 위험을 받아들였을 때의 대응을 정리합니다.

핵심 개념

발견 사항의 네 요소

Yellow Book은 감사인이 발견 사항을 찾으면 감사 목적에 필요한 범위에서 기준, 현황, 원인, 영향을 전개하도록 절차를 계획하고 수행하라고 요구합니다(GAO 8.116). 머리말에서 밝혔듯 Yellow Book은 미국 정부 감사기준이며, 이 책은 발견 사항과 보고에 관한 그 원리를 빌려 씁니다. 여러분의 기관이 따라야 하는 국내 감사 규정이 있다면 그것이 우선합니다. IIA 기준도 발견 사항을 기준과 현황의 비교에서 시작해 근본 원인과 영향을 탐색하고, 그 중요성을 평가하라고 합니다(IIA 14.3).

요소 뜻 AI 감사의 예
기준(criteria) 있어야 할 상태. 법령, 표준, 지침, 기대 성과 "AI 초안은 발송 전에 담당 직원이 사실관계를 확인한다"(민원 처리 지침)
현황(condition) 감사에서 확인하고 문서화한 실제 상태 표본 120건 중 18건이 확인 없이 발송됨
원인(cause) 기준과 현황의 차이를 만든 요인, 권고의 근거 발송 시스템이 확인란이 비어도 발송을 허용함
영향(effect) 차이로 생긴 결과나 생길 수 있는 결과 18건 중 4건이 수수료를 잘못 안내해 재문의 발생

네 요소를 모두 갖춰야 하는 것은 아닙니다. 감사 목적이 현황 확인뿐이라면 현황만 전개해도 됩니다(GAO 8.128). 그러나 개선을 이끌어 내는 발견 사항이라면 원인과 영향이 빠져서는 안 됩니다.

원인 찾기

Yellow Book은 원인을 기준과 현황의 차이를 만든 요인으로 정의하고, 흔한 원인으로 잘못 설계된 정책·절차·기준, 일관되지 않거나 불완전하거나 잘못된 이행, 경영진이 통제할 수 없는 요인을 듭니다(GAO 8.126). 또 내부통제가 감사 목적에 중요할 때는 원인을 규명할 때 내부통제의 미비를 고려하라고 요구하고(8.117), 법령 위반이라는 발견 사항의 근본 원인이 통제 설계의 결함일 수 있다고 설명합니다(8.129).

근본 원인을 찾는 가장 단순한 방법은 "왜"를 거듭 묻는 것입니다. IIA 기준은 원인을 찾을 때 경영진과 협력하라고 합니다. 차이를 가장 잘 아는 것은 그 업무를 하는 사람들이기 때문입니다.

  1. 챗봇이 왜 옛 기준액을 안내했는가? → 지식 문서가 갱신되지 않았다.
  2. 왜 갱신되지 않았는가? → 담당 직원이 기준 개정을 몰랐다.
  3. 왜 몰랐는가? → 기준 개정을 지식 문서에 반영할 책임자가 정해져 있지 않았다.

"직원의 실수"에서 멈추면 권고는 교육이나 문책이 되고, 같은 일이 다른 직원에게서 되풀이됩니다. 원인은 증거로 확인한 실제 요인으로 적되, 그 실수를 가능하게 한 역할, 절차, 시스템 설정, 계약 조항까지 따라가야 합니다. 원인이 경영진이 통제할 수 없는 외부 요인이라면 그렇게 적고, 권고는 조직이 할 수 있는 대응을 겨냥합니다.

영향의 추정과 표현

영향은 조치가 필요한 이유를 보여 줍니다(GAO 8.127). AI 감사에서 영향은 대개 세 가지로 나눠 적습니다.

  • 이미 생긴 결과: 잘못 안내된 건수, 잘못 거절된 신청, 막힌 정상 거래.
  • 생길 수 있는 결과: 통제가 그대로라면 앞으로 생길 수 있는 피해의 규모.
  • 영향받은 사람: 고객, 시민, 직원 가운데 누가, 몇 명이나.

Yellow Book은 독자가 발견 사항의 성격과 크기를 판단할 수 있도록, 확인된 사례를 모집단이나 검토한 건수와 관련지어 설명하고 가능하면 금액 등으로 수량화하라고 요구합니다. 결과를 모집단에 추정할 수 없다면 결론을 그만큼 제한해야 합니다(GAO 9.21). 위험 신호가 있는 건만 골라 60건 중 6건의 오류를 찾았다면 "전체의 10%가 오류"라고 쓸 수 없고, "선정한 고위험 건 60건 중 6건"이라고 써야 합니다.

위험 등급과 우선순위

IIA 기준은 각 발견 사항의 중요성을 위험의 가능성과 영향으로 평가하고, 감사 책임자가 정한 방법에 따라 우선순위를 정하라고 요구합니다(IIA 14.3). 등급은 회사의 방법이 정하는 것이며, 감사인은 그 방법을 사실에 일관되게 적용합니다.

등급을 매길 때 흔한 실수는 실제 피해가 아직 없다는 이유로 등급을 낮추는 것입니다. AS 2201은 재무보고 통제에 대해, 미비의 심각성이 왜곡이 실제로 생겼는지가 아니라 통제가 그것을 막거나 찾아내지 못할 합리적 가능성과 잠재적 크기에 달려 있다고 설명합니다(AS 2201 .63–.64). 재무보고를 위한 기준이지만, AI 감사에서도 실제 피해 유무만으로 위험을 낮추지 않는다는 판단에 이 원리를 빌려 쓸 수 있습니다. 단가표가 해마다 바뀌는데 AI가 참조하는 단가표를 갱신하는 절차가 없다면, 이번 분기에 단가가 바뀌지 않아 피해가 없었더라도 고객 금전에 영향을 줄 합리적 가능성은 그대로입니다.

같은 종류의 AI 오류라도 결과가 어디에 쓰이는지에 따라 등급이 달라집니다. 내부 회의록 요약의 누락은 업무 효율의 문제이고, 경영진이 예산을 정하는 데 쓰는 집계의 오류는 의사결정의 문제이며, 고객에게 안내하는 금액의 오류는 고객 권리의 문제입니다.

권고 쓰기

Yellow Book은 권고가 발견 사항과 결론에서 논리적으로 이어지고, 발견된 미비의 원인을 해소하는 방향이어야 하며, 권고하는 조치를 분명히 밝히라고 요구합니다(GAO 9.23). 효과적인 권고는 실행 권한이 있는 쪽에 주어지고, 구체적이고, 실행할 수 있으며, 비용 대비 효과적이고, 측정할 수 있습니다(9.28). IIA 기준도 권고나 조치 계획이 기준과 현황의 차이를 해소하고, 위험을 받아들일 수 있는 수준으로 줄이며, 근본 원인을 다루도록 요구합니다(IIA 14.4).

약한 권고 고친 권고
"AI 관리를 강화할 것" "정보화팀은 다음 달 말까지 확인란이 비면 발송되지 않도록 설정을 바꾸고, 이후 한 달 동안 확인 없이 발송된 건수를 보고할 것"
"직원 교육을 실시할 것"(원인이 시스템 설정일 때) "정보화팀은 이번 분기 안에 확정 화면에서 일괄 승인 기능을 막고, 다음 분기 표본 재검토로 효과를 보고할 것"
"AI 사용을 중단할 것"(원인과 무관한 과잉 조치) "민원지원과는 다음 달까지 기준 개정 시 지식 문서 갱신 책임자와 기한을 정하고, 갱신 뒤 잘못 안내된 건수를 보고할 것"

권고에는 이미 피해를 입은 사람에 대한 조치도 따로 담는 것이 좋습니다. 원인을 고쳐도 잘못 거절된 신청 37건은 저절로 바로잡히지 않습니다.

경영진 의견 받기

Yellow Book은 감사인이 보고서의 발견 사항, 결론, 권고와 계획된 시정 조치에 대한 책임자의 의견을 받아 보고서에 싣도록 요구합니다(GAO 9.50–9.51). 의견이 발견 사항과 맞지 않으면 감사인은 그 의견의 타당성을 평가해야 하며, 동의하지 않으면 보고서에 그 이유를 설명하고, 의견이 타당하고 충분하고 적합한 증거로 뒷받침되면 보고서를 고칩니다(9.52). 피감 조직이 의견을 내지 않거나 합리적 기간 안에 내지 못하면 의견 없이 보고서를 낼 수 있으며, 그 사실을 보고서에 적습니다(9.53).

이 원칙에서 두 가지가 나옵니다. 피감 조직의 동의는 보고서 발행의 조건이 아닙니다. 그리고 동의하지 않는다는 이유만으로 발견 사항을 빼서도, 불리한 의견을 숨겨서도 안 됩니다. 감사 현장 조사가 끝난 뒤에 만들어진 문서는 그 이전 기간의 상태를 증명하지 못한다는 점도 기억해 둡니다. IIA 기준은 권고나 조치 계획에 대해 감사인과 경영진의 의견이 다를 때 양쪽이 입장과 이유를 밝히고 해결할 수 있는 정해진 방법을 따르라고 요구합니다(IIA 14.4).

결론과 보증의 표현

결론은 발견 사항의 요약이 아니라 그로부터 끌어낸 논리적 추론이며, 증거의 설득력과 논리의 건전성에 따라 그 강도가 정해집니다(GAO 9.27). IIA 기준은 감사 결론이 감사 목적에 비추어 결과를 요약하고, 보증 업무의 결론에는 감사 대상 활동의 거버넌스·위험 관리·통제가 효과적인지에 대한 판단을, 효과적인 경우에는 그 사실의 인정까지 담도록 요구합니다(IIA 14.5).

AI 감사의 결론에서 특히 조심할 표현은 보증의 범위를 넓히는 말입니다. "AI 시스템 7개를 감사했고 문제가 없었다"를 "회사의 AI 관리는 ISO/IEC 42001을 준수한다"로 바꿔 쓰면, 감사하지 않은 시스템과 절차까지 보증하는 것처럼 읽힙니다. ISO/IEC 42001은 개별 시스템이 아니라 조직의 AI 경영시스템 전체에 대한 요구사항이므로, 일곱 개 시스템에 대한 감사로는 그 전체를 말할 수 없습니다. 또 ISO는 인증을 하지 않으며 인증은 외부 인증기관이 합니다. 내부감사도 감사한 범위 안에서 표준 요구사항에 부합하는지 평가할 수는 있지만, 그 결론이 인증으로 읽혀서는 안 됩니다. 내부감사의 결론은 감사한 범위와 기준, 기간 안에서만 씁니다.

범위·방법·한계 밝히기

Yellow Book은 보고서에 수행한 업무의 범위와 한계를 독자가 오해하지 않게 밝히고, 정보 제한이나 기록 접근 거부 같은 중요한 제약도 보고하라고 요구합니다(GAO 9.12). 모집단과 테스트한 항목의 관계, 대상 기간, 증거의 종류와 출처를 설명하고(9.13), 증거 수집·분석 기법과 사용한 기준, 그리고 표본 결과가 결론을 크게 뒷받침한다면 표본 설계와 그 이유, 모집단에 추정할 수 있는지를 밝혀야 합니다(9.14). 증거에 중요한 한계나 불확실성이 있으면 결론과 함께 밝히고(9.20), 밝히지 않으면 독자를 오도할 수 있는 중요한 사실도 공개해야 합니다(9.22). 내부통제가 감사 목적에 중요하다면 내부통제에 대한 업무 범위와 중요한 미비를 보고서에 포함합니다(9.29).

AI 감사에서는 다음을 방법론에 자주 적게 됩니다. 로그 보관 기간 때문에 확인하지 못한 기간(이 한계는 증거 보관 통제의 미비로 따로 발견 사항이 될 수 있습니다), 감사팀이 쓴 AI 분류 도구와 그 검증 결과, 참여한 외부 전문가와 그 작업 범위, 감사 범위에서 뺀 시스템과 그 이유입니다.

후속 확인의 원칙

IIA 기준은 내부감사인이 경영진이 권고나 조치 계획을 이행했는지 정해진 방법에 따라 확인하라고 요구하며, 그 방법에는 진행 상황 질문, 위험 기반의 후속 평가, 추적 시스템의 상태 갱신이 들어갑니다. 절차의 범위는 발견 사항의 중요성을 고려해 정합니다(IIA 15.2). Yellow Book도 다음 감사를 계획할 때 이전 권고의 이행 여부를 확인하고 그 결과를 위험 평가와 절차에 쓰라고 요구합니다(GAO 8.30).

경영진의 "조치 완료" 보고는 후속 확인의 출발점입니다. 완료 보고, 개정 절차서, 담당자 지정 공문은 통제의 설계 효과성을 보여 줄 뿐, 그 통제가 원인을 해소하며 일정 기간 작동했다는 운영 효과성의 증거는 아닙니다.

조치 유형별 종결 증거

어떤 증거로 종결할지는 조치의 성격이 정합니다.

조치 유형 종결에 필요한 증거 이유
사람이 주기적으로 수행하는 새 통제(월간 재검토 등) 첫 수행 결과 확인과, 수행 빈도·위험에 맞는 운영 기간 뒤의 표본 테스트 한 번의 수행만으로는 계속 작동한다는 증거가 약하다. 긴 기간일수록 증거가 강하다(AS 2201 .52)
시스템 설정 변경(일괄 승인 차단 등) 설정의 직접 확인, 시험 입력, 이후 설정이 바뀌지 않았다는 변경 관리 기록 프로그램 변경·접근·운영 일반 통제가 효과적이고 계속 테스트되면 기준선 전략을 쓸 수 있다(AS 2201 .B28–.B29)
정책·절차서 개정만 개정 내용이 원인을 다루는지 검토하되 종결하지 않고 '조치 중'으로 두며, 운영 테스트 일정을 잡음 설계만 바뀐 상태다
계약 조항 추가 서명된 계약서, 조항이 실제로 쓰였는지(통지를 받았는지) 확인 조항이 있어도 운영되지 않을 수 있다
이미 피해를 입은 사람에 대한 구제 대상자 목록의 완전성, 안내·정정 기록 원인 해소와 별개로 확인한다

조치가 늦어지면 IIA 기준은 경영진의 설명을 받아 문서로 남기고 감사 책임자와 논의하라고 요구합니다. 감사 책임자는 지연이나 불이행으로 경영진이 위험 허용 한도를 넘는 위험을 받아들인 것인지 판단합니다(IIA 15.2).

위험 수용과 보고

NIST AI RMF는 높은 우선순위의 AI 위험에 대한 대응으로 완화, 이전, 회피, 수용을 들고, 그 대응을 개발·계획·문서화하라고 합니다(MANAGE 1.3). 위험을 받아들이는 것은 정당한 선택일 수 있고, 그 결정은 경영진의 몫입니다.

그러나 받아들인 위험이 조직의 위험 성향이나 허용 한도를 넘는다면 이야기가 달라집니다. IIA 기준은 감사 책임자가 경영진이 그런 수준의 위험을 받아들였다고 판단하면 최고경영진과 논의하고, 해결되지 않으면 이사회(감사위원회를 둔 조직이라면 대개 감사위원회)에 알리도록 요구합니다. 위험을 해결하는 것은 감사 책임자의 책임이 아닙니다(IIA 11.5). 감사의 역할은 그 결정이 알맞은 권한자의 눈에 보이게 하는 것입니다. 위험이 허용 한도 안이라면 수용 결정과 근거, 결정권자를 기록하고 추적을 마칠 수 있습니다.

깊이 읽기

AI 발견 사항의 영향은 사람에게 닿는다

전통적인 내부통제 감사의 영향은 흔히 금액으로 표현됩니다. AI 감사의 영향은 사람에게 직접 닿는 경우가 많습니다. 잘못 거절된 대출 신청, 옛 기준으로 안내받아 신청하지 못한 복지 급여, 부정으로 오인돼 막힌 송금이 그렇습니다. 이런 영향을 추정할 때는 세 가지를 따로 셉니다. 영향받았을 수 있는 사람의 범위(그 기간에 해당 안내를 받은 모든 사람), 실제로 영향받은 것으로 확인된 사람(표본이나 전수 분석으로 확인), 그리고 아직 바로잡을 수 있는 사람(신청 기한이 남은 사람)입니다.

마지막 숫자가 특히 중요합니다. 원인을 고치는 권고는 앞으로의 피해를 막지만, 이미 영향받은 사람은 별도의 조치가 있어야 구제됩니다. 감사인은 영향받은 사람을 찾을 수 있는 기록이 남아 있는지 확인하고, 구제 조치를 원인 해소와 별도의 권고로 적습니다. NIST AI RMF도 사고와 오류를 영향받은 사람을 포함한 관련자에게 알리고, 추적·대응·복구 절차를 따르고 문서화하라고 합니다(MANAGE 4.3). 기록이 남아 있지 않아 대상자를 특정할 수 없다면, 그 사실 자체가 로그 보관 통제에 대한 발견 사항이 됩니다.

경영진과 의견이 다를 때

AI 감사에서는 경영진과 의견이 다른 일이 잦습니다. "사람이 최종 결정하니 감독은 충분하다", "벤더가 보증했으니 데이터는 문제없다", "아직 피해가 없으니 등급을 낮춰 달라" 같은 반론은 이 책의 앞 장들에서 다룬 오해와 정확히 겹칩니다.

이때 감사인이 지킬 원칙은 증거입니다. 경영진의 반론이 새 증거로 뒷받침되면 보고서를 고치고, 그렇지 않으면 반론과 함께 동의하지 않는 이유를 보고서에 싣습니다. 등급은 회사가 정한 방법에 따라 매기며, 협상의 대상이 아닙니다. 다만 감사인도 자신의 증거가 충분한지 다시 봐야 합니다. 반론이 감사인이 놓친 사실을 가리킨다면, 보고서를 고치는 것은 패배가 아니라 공정한 보고서를 만드는 과정입니다. Yellow Book이 초안을 책임자에게 보내 의견을 받는 것이 공정하고 완전하며 객관적인 보고서를 만드는 데 도움이 된다고 설명하는 이유도 여기에 있습니다(GAO 9.54).

실무 장면

별빛시: 한 문장 발견 사항을 네 요소로 다시 쓰기

'별빛시' 감사담당관실은 AI가 시민 제안을 분류해 담당 부서로 배정하는 시스템을 감사했다. 초안의 발견 사항은 "AI 제안 분류의 정확도가 낮아 개선이 필요함"이라는 한 문장이었다. 감사담당관은 이 문장을 네 요소로 다시 쓰게 했다.

기준부터 찾았다. 시의 제안 처리 지침은 "제안은 접수 3일 안에 담당 부서에 배정한다"고 정했고, 시스템 도입 계획서는 "잘못 배정된 제안이 5% 이하"를 목표로 적었다. 현황은 감사팀이 무작위로 뽑은 제안 200건 가운데 31건(15.5%)이 잘못 배정됐고, 그중 22건은 다시 배정되기까지 평균 9일이 걸렸다는 사실이었다. 감사팀은 무작위 표본이었으므로 이 비율을 지난 분기 제안 6,400건 전체에 대한 추정으로, 신뢰구간 같은 표본 위험의 크기와 함께 보고하기로 했다.

원인을 찾는 데는 시간이 걸렸다. 처음에는 "AI 모델의 성능 부족"이 원인처럼 보였다. 감사팀은 "왜"를 거듭 물었다. 잘못 배정된 31건 가운데 24건은 지난 3월 조직 개편으로 이름과 업무가 바뀐 부서와 관련돼 있었다. 시스템의 부서 분류표는 개편 전 그대로였고, 개편을 시스템에 반영할 책임은 어느 부서에도 정해져 있지 않았다. 원인은 모델이 아니라 조직 개편을 분류표에 반영하는 절차의 부재였다.

영향은 세 가지로 적었다. 추정된 오배정 규모, 다시 배정되는 동안 늦어진 처리 기간, 그리고 처리 기한을 넘긴 제안에 대해 시민에게 지연 안내가 나가지 않았다는 사실이다. 권고는 정보통신과에 "조직 개편 시 분류표 갱신 책임과 기한을 정하고, 갱신 뒤 오배정률을 다음 분기에 보고할 것"으로 썼다. 모델 재학습을 권고하자는 의견도 있었지만, 원인과 맞지 않아 버렸다. 시민 안내 누락은 민원 담당 부서에 별도 권고로 붙였다.

단비에너지: '조치 완료' 세 건의 서로 다른 확인

도시가스 회사 '단비에너지'는 AI가 원격 검침값의 이상을 찾아 현장 점검 대상을 고른다. 지난해 감사의 발견 사항 세 건에 대해 경영진이 모두 "조치 완료"를 보고했다. 감사팀은 세 건을 같은 방식으로 확인하지 않았다.

첫 번째 발견 사항은 "현장 점검원이 AI가 고른 대상을 근거 확인 없이 일괄 종결한다"였다. 경영진은 점검 앱에서 일괄 종결 기능을 없애고, 점검 사진을 올려야 종결 버튼이 켜지도록 바꿨다. 감사팀은 앱 설정을 직접 확인하고 운영 데이터에 남지 않는 검증용 계정으로 사진 없이 종결이 되지 않는 것을 봤다. 앱의 프로그램 변경·접근·운영에 대한 일반 통제가 올해 효과적으로 평가됐고 계속 테스트되고 있었으므로, 설정을 확인한 뒤 바뀌지 않았다는 변경 기록을 보고 종결했다.

두 번째는 "AI가 점검 대상에서 뺀 계량기 가운데 실제 이상이 있는 경우를 아무도 확인하지 않는다"였다. 경영진은 품질팀이 매달 제외된 계량기 30개를 표본으로 현장 확인하는 절차를 만들었고, 지난달 처음 수행했다. 감사팀은 첫 수행 기록을 확인했지만 한 달의 증거로는 계속 작동한다고 보기 부족하다고 판단해, 3개월 운영 뒤 표본 테스트를 하기로 일정을 잡았다. 상태는 "조치 중(운영 확인 예정)"으로 남았다.

세 번째는 "검침 이상 탐지 모델의 재검증 기준이 없다"였다. 경영진은 비용을 이유로 재검증 체계를 만들지 않고 현 상태를 유지하겠다고 했다. 회사의 위험 관리 기준은 "가스 안전과 관련된 점검 누락"을 허용할 수 없는 위험으로 정하고 있었다. 감사 책임자는 이 결정이 허용 한도를 넘는 위험의 수용이라고 판단하고 대표이사와 논의했으며, 결정이 바뀌지 않자 이사회 감사위원회에 보고했다. 감사팀은 재검증 체계를 대신 만들어 주자는 내부 제안은 받아들이지 않았다. 그것은 경영진의 일이었고, 감사팀이 만들면 나중에 자기 작업을 평가하는 자기 검토 위협이 생긴다.

자주 틀리는 지점

  1. "원인은 담당자의 실수다." 실수에서 멈추면 같은 일이 되풀이됩니다. 그 실수를 가능하게 한 역할, 절차, 설정, 계약까지 증거로 따라가 원인을 적습니다.
  2. "실제 피해가 없으니 등급을 낮춘다." 심각성은 통제가 실패할 합리적 가능성과 그 크기로 판단합니다(AS 2201 .64).
  3. "권고는 넓게 써야 경영진이 상황에 맞게 실행한다." 효과적인 권고는 권한 있는 쪽에, 구체적이고 측정할 수 있게 씁니다(GAO 9.28).
  4. "경영진이 동의하지 않으면 발견 사항을 뺀다." 의견의 타당성을 평가해, 동의하지 않으면 그 이유를 싣습니다(GAO 9.52).
  5. "골라 본 표본의 오류율을 전체 오류율로 쓴다." 추정할 수 없는 결과는 결론을 그만큼 제한해 씁니다(GAO 9.21).
  6. "감사한 시스템에 문제가 없었으니 표준을 준수한다고 써도 된다." 결론은 감사한 범위·기준·기간 안에서만 씁니다. 인증은 인증기관이 합니다.
  7. "경영진이 완료를 보고했으니 종결한다." 완료 보고는 출발점입니다. 조치 유형에 맞는 증거로 확인합니다.
  8. "경영진이 위험을 받아들이면 감사는 할 일이 없다." 허용 한도를 넘는다면 최고경영진과 논의하고, 해결되지 않으면 이사회에 알립니다(IIA 11.5).

한눈에 정리

주제 기억할 것
네 요소 기준(있어야 할 상태), 현황(실제), 원인(차이를 만든 요인), 영향(결과)(GAO 8.124–8.127)
원인 "왜"를 거듭 묻고, 고칠 수 있는 통제 요인에서 멈춘다. 경영진과 협력(IIA 14.3)
영향 이미 생긴 결과, 생길 수 있는 결과, 영향받은 사람. 모집단과 관련지어(GAO 9.21)
등급 회사 방법대로 가능성 × 영향. 실제 피해 유무가 아니라 합리적 가능성
권고 원인을 겨냥, 권한 있는 쪽, 구체·실행 가능·측정 가능(GAO 9.23, 9.28). 피해 구제는 별도
경영진 의견 싣고, 다르면 타당성 평가 후 이유를 밝힌다. 동의는 발행 조건이 아니다(GAO 9.50–9.53)
결론 감사한 범위·기준·기간 안에서. 효과적이면 그 사실도 인정(IIA 14.5)
한계 범위, 표본 설계, 추정 가능성, 증거 한계, 쓴 도구와 전문가를 밝힌다(GAO 9.12–9.14, 9.20)
후속 확인 위험 기반으로. 수작업 통제는 운영 기간 뒤 표본, 자동 설정은 직접 확인과 변경 관리
위험 수용 허용 한도 초과면 최고경영진 → 이사회. 해결은 감사의 책임이 아니다(IIA 11.5)

공식 문서로 확인하기

셀프 체크

5-1. 발견 사항의 네 요소를 쓰고, 감사 목적이 현황 확인뿐일 때 나머지 요소를 생략할 수 있는지 Yellow Book에 비추어 답하라.

5-2. "담당 직원이 기준 변경을 지식 문서에 반영하지 않았다"를 원인으로 적은 초안이 있다. 이 원인을 한 단계 더 파고들어야 하는 이유와, 더 나은 원인 문장의 예를 쓰라.

5-3. 실제 피해가 확인되지 않은 통제 미비의 등급을 정할 때 무엇을 기준으로 삼아야 하는지 AS 2201에 비추어 설명하라.

5-4. 효과적인 권고의 조건을 Yellow Book 9.28에 따라 쓰고, "AI 관리 체계를 강화할 것"이라는 권고가 어떤 조건을 못 갖췄는지 짚으라.

5-5. 경영진이 보고서 초안의 발견 사항에 동의하지 않는 서면 의견을 냈다. 감사팀이 해야 할 일을 Yellow Book 9.50–9.53에 따라 순서대로 쓰라.

5-6. 경영진이 "조치 완료"를 보고한 조치가 (가) 분기마다 수행하는 새 수작업 점검, (나) 시스템 설정 변경일 때, 각각 종결에 필요한 증거를 쓰라.

5-7. (설계) 경영진이 비용을 이유로 권고를 이행하지 않기로 했다. 감사 책임자가 밟을 절차를 IIA 기준 11.5와 15.2에 맞춰 단계별로 설계하라. 위험이 허용 한도 안인 경우와 넘는 경우를 나눠 쓰라.

실습 과제

실습

발견 사항 한 건 쓰기 (45분)

  1. 앞 장들의 실습에서 나온 문제 하나, 또는 가상의 AI 관련 문제 하나를 고른다.
  2. 기준(출처 포함), 현황(검토한 건수와 모집단 포함), 원인("왜"를 세 번 이상 물은 결과), 영향(이미 생긴 결과, 생길 수 있는 결과, 영향받은 사람)을 쓴다.
  3. 회사의 등급 기준(없으면 가능성×영향의 3단계 표를 만든다)으로 등급과 조치 기한을 정한다.
  4. 원인을 겨냥한 권고 하나와, 피해 구제가 필요하면 별도 권고 하나를 쓴다.

완료 기준: 네 요소가 모두 증거와 함께 쓰여 있고, 원인이 고칠 수 있는 통제 요인이며, 권고에 수신 부서·조치·기한·측정 지표가 있다.

실습

후속 확인 계획 세우기 (30분)

  1. 위 발견 사항, 또는 가상의 발견 사항 세 건에 대해 경영진이 보고한 조치를 하나씩 정한다. 수작업 통제, 시스템 설정, 위험 수용을 하나씩 넣는다.
  2. 조치마다 종결에 필요한 증거, 확인 시기, 확인 방법을 적는다.
  3. 위험 수용 건은 회사의 위험 허용 기준과 견주고, 보고 경로(최고경영진, 이사회)를 적는다.

완료 기준: 세 조치의 종결 증거가 서로 다르게 정해져 있고, 수작업 통제의 확인 시기가 운영 기간을 반영하며, 위험 수용 건의 보고 경로가 기준과 함께 적혀 있다.