3장. 증거 수집과 테스트·표본

학습 목표

• 감사 증거의 충분성과 적합성을 구분하고, 신뢰도를 높이는 조건을 설명한다.
• 회사가 만든 정보와 AI가 만든 자료를 증거로 쓰기 전에 확인할 절차를 고른다.
• 감사 목적에 맞춰 전수 검사, 특정 항목 선정, 무작위 표본, 층화 표본 가운데 알맞은 방법을 고른다.
• 표본 크기를 정하는 요인을 설명하고, 표본 결과를 허용 기준과 견줘 평가한다.
• AI 출력 로그로 통제 운영을 재수행하는 절차를 설계하고, 생성형 AI의 재현성 한계를 반영한다.

들어가며

어느 카드사의 감사팀이 AI 한도 심사의 사람 검토 통제를 테스트하고 있습니다. 담당 부서는 "검토 기록이 다 있다"며 엑셀 파일 하나를 보냈습니다. 파일에는 지난 1년 동안의 검토 건 3만 2천 줄이 정리돼 있고, 모든 줄에 검토자 이름과 '확인 완료'가 적혀 있습니다. 신입 감사인은 "3만 건이 넘으니 증거는 충분하다"고 조서에 적었습니다.

선임 감사인은 세 가지를 묻습니다. 이 파일은 누가 어떻게 만들었는가? 시스템에 기록된 검토 건수와 맞는가? 그리고 '확인 완료'라는 글자는 검토자가 실제로 판단했다는 증거인가? 3만 2천 줄은 양을 말해 줄 뿐, 질을 말해 주지 않습니다. 피감 부서가 정리한 파일은 감사인이 직접 얻은 자료보다 신뢰도가 낮고, 정리 과정에서 빠지거나 바뀐 줄이 있을 수 있습니다.

이 장은 감사 결론을 받치는 증거를 다룹니다. 먼저 증거의 충분성과 적합성, 신뢰도의 일반 원칙을 정리하고, 회사가 만든 정보를 증거로 쓰는 조건을 익힙니다. 이어서 항목을 고르는 세 가지 방법과 표본의 설계·크기·평가를 다루고, 마지막으로 AI 시대에 새로 생긴 증거, 즉 로그와 생성형 AI가 만든 자료, 감사인이 직접 쓰는 AI 도구의 결과를 다루는 방법을 살펴봅니다.

핵심 개념

충분성과 적합성

감사인은 결론을 뒷받침할 합리적 근거가 되도록 충분하고 적합한 증거를 얻어야 합니다(AS 1105 .04; GAO 8.90). 충분성은 증거의 양이고, 적합성은 증거의 질, 즉 관련성과 신뢰성입니다(AS 1105 .05–.06). 위험이 클수록 더 많은 증거가 필요하고, 증거의 질이 높을수록 추가로 뒷받침할 증거의 필요는 줄어듭니다. 그러나 같은 종류의 증거를 더 모아도 질이 낮은 증거를 보완할 수는 없습니다(AS 1105 .05).

Yellow Book도 같은 원리를 두 가지 추정으로 정리합니다. 감사 위험이 클수록 더 많고 더 좋은 증거가 필요하고, 더 강한 증거가 있으면 더 적은 증거로도 충분할 수 있다는 것입니다(GAO 8.101). 그리고 많은 양의 증거가 관련성, 타당성, 신뢰성의 부족을 메우지 못한다고 분명히 적습니다(GAO 8.102). 내부감사인이 따르는 IIA 기준도 분석과 평가에 쓰는 정보가 관련 있고, 신뢰할 수 있고, 충분해야 한다고 요구하며, 감사인이 직접 얻었거나 독립된 출처에서 얻었거나 다른 정보로 확인된 정보일수록 신뢰성이 강해진다고 설명합니다(IIA 14.1).

관련성, 타당성, 신뢰성

Yellow Book은 적합성을 세 가지로 나눠 설명합니다(GAO 8.102).

• 관련성: 증거가 다루는 문제와 논리적으로 이어지고 중요한 정도. 표본 검토자가 '확인 완료'를 눌렀다는 기록은 "검토가 수행됐는가"와는 관련이 있지만 "검토가 오류를 걸렀는가"와는 관련이 약합니다.
• 타당성: 증거가 측정하려는 것을 실제로 나타내는 정도. 고객 만족도는 답변의 정확성을 재는 타당한 증거가 아닙니다.
• 신뢰성: 측정하거나 테스트했을 때 결과가 일관되고 검증 가능한 정도. 뒷받침 증거, 통계적 테스트, 다른 출처의 확인으로 높일 수 있습니다.

신뢰도의 일반 원칙

AS 1105와 Yellow Book은 증거의 신뢰도를 판단하는 일반 원칙을 비슷하게 정리합니다(AS 1105 .08; GAO 8.104).

이 원칙은 "대체로" 그렇다는 것이며, 판단의 출발점입니다. 독립된 외부 출처라도 그 출처가 해당 분야를 잘 모르거나 제한 조건을 달았다면 신뢰도가 떨어집니다(AS 1105 .08 주석).

증거를 얻는 절차

AS 1105는 증거를 얻는 절차를 일곱 가지로 설명합니다(AS 1105 .15–.21). 검사(기록이나 자산을 살펴봄), 관찰(남이 수행하는 과정을 지켜봄, 관찰 시점에 한정되고 관찰 자체가 행동을 바꿀 수 있음), 질문(아는 사람에게 물음, 질문만으로는 결론의 근거가 되지 않음), 외부 확인(제3자가 감사인에게 직접 보내는 회신), 재계산(수학적 정확성 확인), 재수행(회사가 수행한 절차나 통제를 감사인이 독립적으로 다시 실행), 분석적 절차(자료 사이의 그럴듯한 관계를 보고 예상과 다른 차이를 조사)입니다.

AI 감사에서는 재계산과 재수행이 특히 자주 쓰입니다. 같은 입력에 늘 같은 결과를 내는 결정론적 점수 모델이라면 같은 입력으로 다시 실행해 볼 수 있고, 사람이 내린 판단이라면 같은 기준으로 다시 판단해 볼 수 있습니다.

회사가 만든 정보

AI 감사의 증거 대부분은 회사 시스템이 만든 정보입니다. 성능 보고서, 처리 로그, 대시보드가 모두 그렇습니다. AS 1105는 회사가 만든 정보를 증거로 쓸 때 그 정보의 정확성과 완전성을 테스트하거나, 정확성과 완전성에 대한 통제(해당하면 IT 일반통제와 자동 통제 포함)를 테스트하고, 정보가 감사 목적에 충분히 정밀하고 상세한지 평가하라고 요구합니다(AS 1105 .10).

Yellow Book은 이 요구를 감사인이 직접 추출한 자료에도 적용합니다. 컴퓨터로 처리된 정보의 충분성과 적합성은 그 정보가 감사인에게 제공됐든 감사인이 직접 추출했든 평가하며, 그 평가에는 의도한 목적에 비춘 완전성과 정확성의 검토가 포함됩니다(GAO 8.98). 감사인이 시스템에서 직접 뽑았다고 해서 추출 조건이 맞았는지, 빠진 건이 없는지 확인할 필요가 사라지지는 않습니다.

어떤 방법을 쓸지는 상황이 정합니다.

항목을 고르는 세 가지 방법

테스트할 항목을 고르는 방법은 세 가지입니다(AS 1105 .22).

1. 모든 항목 선택(전수 검사): 모집단 전체를 봅니다. 큰 금액의 소수 항목으로 이뤄진 모집단, 다른 방법으로는 충분한 증거를 얻기 어려운 중요한 위험, 그리고 감사 절차를 자동화해 모집단 전체에 효과적으로 적용할 수 있는 경우에 알맞습니다(.24).
2. 특정 항목 선택: 중요하거나, 수상하거나, 오류 이력이 있는 항목, 일정 금액 이상의 항목을 고릅니다(.25). 이렇게 고른 항목의 결과는 모집단 전체로 추정할 수 없습니다(.27). 보고서에는 선정 기준과 검토 건수를 밝히고 결론을 그 범위로 제한해 씁니다(GAO 9.21).
3. 감사 표본: 모집단의 일부에 절차를 적용해 모집단의 특성을 평가합니다(.28).

AI 시스템은 대부분의 처리 기록을 구조화된 데이터로 남기므로, "검토자 ID가 있는가", "24시간 안에 처리됐는가"처럼 규칙으로 판정할 수 있는 속성은 전수 분석이 자연스러운 선택이 됩니다. 반대로 "사유가 기준에 맞는가"처럼 사람이 읽고 판단해야 하는 속성은 여전히 표본이 필요합니다.

표본 추출 방법

표본은 모집단을 대표하도록 뽑아야 하며, 모든 항목이 선택될 기회를 가져야 합니다(AS 2315 .24, .39). 무작위 기반 선택이 그 대표적인 방법입니다. 통제 테스트라면 감사 대상 기간 전체에서 뽑힐 수 있는 선택 방법을 쓰는 것이 바람직합니다(.39).

모집단 안에 성격이 다른 집단이 있다면 층화가 효율적입니다. AS 2315는 감사 목적과 관련된 특성으로 모집단을 비교적 고른 집단으로 나누면 필요한 표본 수를 줄일 수 있고, 각 집단에서 알맞은 수를 뽑는다고 설명합니다(.22). 층화 표본의 결과로 모집단 전체를 말할 때는 집단마다 이탈률을 구한 뒤 집단의 크기 비중에 맞춰 합칩니다. 집단마다 뽑은 비율이 다르므로 표본 전체의 이탈 건수를 단순히 더해 나누면 안 됩니다. 채널, 금액 구간, 오류 이력이 다른 부서가 흔한 기준입니다.

Yellow Book은 선택 방법이 감사 목적에 달려 있다고 정리합니다. 대표 표본이 필요하면 통계적 표본이 대체로 더 강한 증거를 주고, 대표 표본이 필요하지 않다면 위험 요인을 기준으로 한 표적 선택도 효과적일 수 있습니다(GAO 8.107). 통계적 표본과 비통계적 표본 모두 제대로 적용하면 충분한 증거를 줄 수 있습니다(AS 2315 .03).

표본 크기를 정하는 요인

통제 테스트의 표본 크기는 허용 이탈률(계획한 신뢰를 바꾸지 않고 받아들일 수 있는 최대 이탈률), 예상 이탈률, 통제를 지나치게 신뢰할 위험을 고려해 정합니다(AS 2315 .38). 세부 테스트라면 허용 오류, 잘못 받아들일 위험, 예상 오류의 크기와 빈도를 고려합니다(.23).

몇 가지 방향을 기억하면 됩니다.

• 원하는 확신이 높을수록, 즉 받아들일 수 있는 위험이 낮을수록 표본이 커집니다. 다른 절차 없이 이 테스트에만 기댄다면 위험을 낮게 잡아야 하므로 표본이 커집니다(AS 2315 .19).
• 허용 기준이 엄격할수록 표본이 커집니다.
• 모집단 항목 수는 모집단이 아주 작지 않다면 표본 크기에 거의 영향을 주지 않습니다(세부 테스트 요인을 정리한 AS 2315 부록 표 1). 처리 건수가 네 배가 됐다고 표본을 네 배로 늘릴 필요는 없습니다.
• 예상 이탈률이 허용 이탈률을 넘는다면, 표본을 아무리 키워도 계획한 신뢰를 뒷받침하기 어렵습니다. 이때는 통제를 신뢰하는 계획을 바꾸고 위험에 직접 대응하는 절차를 늘립니다(.43).

표본 결과 평가

표본의 이탈률은 모집단 이탈률의 최선의 추정치입니다. 그러나 표본 결과가 허용 이탈률보다 낮아도, 실제 모집단 이탈률이 허용 이탈률을 넘을 위험, 즉 표본 위험을 고려해야 합니다(AS 2315 .41). AS 2315는 허용 이탈률이 5%일 때 표본 60건에서 이탈이 없으면 표본 위험이 받아들일 만큼 낮다고 볼 수 있고, 이탈이 두 건 이상이면 받아들일 수 없게 높다고 볼 수 있다는 예를 듭니다. 표본이 작을수록 표본 위험은 커집니다(.10). 이탈이 1건처럼 두 예시 사이에 놓이면, 표본 이탈률(1/60)이 허용 이탈률보다 낮더라도 실제 이탈률이 허용치를 넘을 위험을 따로 판단해야 하며, 필요하면 표본을 늘리거나 다른 증거를 더합니다.

평가에서 자주 틀리는 두 가지가 있습니다. 첫째, 증거가 없어 확인할 수 없는 표본 항목입니다. 계획한 절차도 적절한 대체 절차도 적용할 수 없다면 그 사유를 검토하고 대개 그 항목을 이탈로 봅니다(.40). 로그가 사라진 건을 빼거나 다른 건으로 바꾸면 결과가 실제보다 좋아 보입니다. 둘째, 이탈의 질적 측면입니다. 빈도와 함께 이탈의 성격과 원인, 즉 단순 실수인지 지시를 오해했는지 의도적 우회인지를 평가합니다(.42).

로그는 감사 질문에서 거꾸로 설계한다

AI 시스템의 로그는 감사인에게 가장 중요한 증거원입니다. 그러나 로그는 대개 개발자가 장애를 고치려고 만들기 때문에, 감사 질문에 답하지 못하는 경우가 많습니다. GAO 프레임워크는 모델과 모델 밖 구성 요소를 운영 사양·매개변수와 함께 목록화하고(실무 3.1), 모니터링 결과와 시정 조치를 문서화해 추적 가능성을 높이라고 합니다(실무 4.3).

보관 기간도 로그 설계의 일부입니다. 회사 정책이 결정 근거를 몇 년 보관하라고 정했는데 로그 설정이 30일이라면, 그 자체가 통제 미비이고 감사 증거의 한계가 됩니다.

재현 가능성과 재수행

재수행이 의미 있는지는 시스템의 성질에 달려 있습니다. 트리 기반 점수 모델처럼 같은 입력에 같은 결과를 내는 결정론적 모델이고 승인된 버전이 보관돼 있다면, 감사인이 같은 버전에 같은 입력을 넣어 다시 실행해 결과를 비교하는 것이 "기록된 점수가 승인된 모델에서 나왔는가"에 대한 가장 직접적인 증거입니다.

생성형 모델은 대개 다릅니다. 예를 들어 Anthropic의 Messages API 문서는 temperature를 조정할 수 있는 모델에서 0.0으로 낮춰도 결과가 완전히 결정적이지 않다고 밝히며, 이 매개변수를 지원하지 않는 최신 모델도 있다고 안내합니다. 지금 다시 실행한 결과가 기록과 다르다고 기록이 틀렸다고 볼 수 없고, 같다고 해서 맞았다고 볼 수도 없습니다. 그래서 생성형 AI가 관여한 결정은 "다시 실행해 같은지"가 아니라 "기록된 입력과 출력으로 판단이 기준에 맞았는지"를 재수행합니다. 이를 위해 입력 원문, 출력 원문, 버전 정보가 로그에 남아 있어야 합니다.

피감 조직의 AI가 만든 증거

피감 조직이 생성형 AI로 회의록을 요약하고, 상담 기록을 요약하고, 보고서 초안을 쓰는 일이 늘었습니다. 이런 자료가 증거로 제출되면 두 가지를 기억해야 합니다. 첫째, 요약은 원본에서 만든 자료이고, 원본이 변환된 자료보다 신뢰도가 높습니다(AS 1105 .08). 둘째, 생성형 AI는 그럴듯하지만 틀린 내용을 자신 있게 만드는 confabulation(흔히 환각이라 부른다) 위험이 있습니다(NIST AI 600-1). "위원 전원 동의"라는 AI 회의록 문장은 녹음 원본이나 전자 결재 기록과 대조해야 증거가 됩니다. 증거끼리 맞지 않으면 그 차이를 해소하는 절차를 수행하고 다른 감사 절차에 미치는 영향을 판단합니다(AS 1105 .29).

감사인이 쓰는 AI 도구

감사인도 AI를 씁니다. 수만 건의 상담 기록에서 문제 사례를 찾거나, 계약서에서 특정 조항을 뽑을 때 생성형 AI 분류 도구는 큰 도움이 됩니다. 그러나 감사인이 만든 결과라고 해서 신뢰성이 저절로 생기지는 않습니다. 네 단계를 지킵니다.

1. 판정 기준을 먼저 글로 정한다. 기준이 있어야 검증 표본을 만들고 도구에 지시할 수 있습니다.
2. 검증 표본으로 오류를 유형별로 잰다. 감사인이 직접 판정한 대표 표본과 도구 결과를 대조해, 잘못 잡은 건과 놓친 건의 비율을 따로 잽니다. 드문 위반을 찾는 과제에서는 전체 오분류율이 낮아도 위반을 많이 놓칠 수 있으므로, 놓친 건의 비율(4장의 거짓 음성률)을 알아야 '해당 없음'으로 분류된 건에 대해서도 결론을 낼 수 있습니다. 감사 대상 자료를 넣기 전에 도구의 데이터 처리 조건도 확인합니다.
3. 전체에 적용하고 걸러 낸 건을 원문으로 확인한다. 놓친 비율과 잘못 잡은 비율이 각각 허용 범위 안일 때만 전체를 분류하고, 도구가 '해당'으로 분류한 건은 감사인이 원문으로 확인한 뒤 결론에 씁니다.
4. 실행 조건을 조서에 남긴다. Yellow Book은 이전에 관여하지 않은 경험 있는 감사인이 조서만 보고 절차의 성격, 시기, 범위, 결과와 증거, 결론을 이해할 수 있게 문서화하라고 요구합니다(GAO 8.132). 지시문, 모델 버전, 실행 일시, 입력 건수를 남깁니다.

같은 지시문으로 두 번 돌려 결과가 같다는 사실이나 벤더의 일반 벤치마크 점수는 이 과제에서의 정확성을 증명하지 못합니다.

깊이 읽기

전수 분석의 시대에도 표본이 필요한 이유

데이터 분석 도구가 좋아지면서 "이제 표본은 필요 없다, 전부 보면 된다"는 말을 자주 듣습니다. 절반은 맞습니다. 규칙으로 판정할 수 있는 속성은 전수 분석이 표본보다 완전하고 효율적입니다. 표본 위험이 사라지고, 예외 건을 하나도 빠뜨리지 않습니다.

하지만 전수 분석에도 한계가 있습니다. 첫째, 분석은 데이터가 말해 주는 것만 봅니다. 검토자 ID가 모든 건에 있다는 분석 결과는 검토가 수행됐다는 형식을 보여 줄 뿐, 판단이 옳았는지는 보여 주지 않습니다. 판단의 질은 여전히 사람이 원자료를 읽는 표본 재수행이 필요합니다. 둘째, 분석의 결론은 데이터의 완전성과 정확성에 기댑니다. 추출 조건이 틀렸거나 일부 기간이 빠졌다면 "전수"라는 말이 오히려 거짓 확신을 줍니다. 셋째, AI 분류 도구로 전수를 "읽게" 했다면, 도구가 위반을 잘못 판정할 위험이 생깁니다. 모든 항목에 절차를 적용하고도 오류를 알아채지 못하는 이런 위험은 표본 위험이 아니라 비표본 위험이며(AS 2315 .11), 검증 표본으로 오분류율을 추정할 때는 그 추정에 다시 표본 위험이 따릅니다. 결국 좋은 설계는 둘을 섞습니다. 형식적 속성은 전수 분석으로, 판단의 질은 표본으로, 도구의 신뢰성은 검증 표본으로 확인합니다. 어느 경우든 분석 전에 원천 데이터의 완전성과 정확성부터 확인합니다.

에이전트 로그의 무결성

AI 에이전트가 스스로 주문을 넣고 기록을 고치는 시스템에서는 로그의 신뢰성 문제가 한층 날카로워집니다. 기록을 남기는 주체가 곧 감사 대상이기 때문입니다. 에이전트가 실행되는 서버에 로그가 저장되고, 에이전트나 운영자가 그 저장소에 쓰기 권한을 가진다면, 로그는 "에이전트가 스스로 쓴 일기"에 가깝습니다.

AS 1105는 회사가 만든 정보가 그 정보에 대한 통제가 효과적일 때 더 신뢰할 수 있다고 설명합니다(.08). 에이전트 로그에 적용하면 두 가지 질문이 됩니다. 로그는 에이전트와 운영자가 고칠 수 없는 별도 저장소에 기록되는가? 그리고 로그는 독립된 외부 기록, 예를 들어 거래 상대방 시스템의 주문 기록이나 결제 기록과 맞는가? 에이전트에게 자기 활동을 요약하게 하는 것은 같은 시스템의 진술을 하나 더 받는 일일 뿐 독립된 확인이 아닙니다.

실무 장면

다솔카드: 같은 통제, 다른 표본

신용카드사 '다솔카드'는 AI가 결제 한도 일시 상향 요청을 자동 승인하거나 '검토 필요'로 넘기면, 심사원이 '검토 필요' 건을 판단한다. 감사팀은 지난 1년 처리 건에 대해 두 가지를 확인하려 했다. 하나는 정책상 '검토 필요' 건이 모두 4시간 안에 심사원 ID와 함께 처리됐는가, 다른 하나는 심사원이 승인할 때 남긴 사유가 정책 기준에 맞는가였다.

첫 번째 질문에 대해 팀원 한 명은 60건 무작위 표본을 제안했다. 팀장은 확인할 속성이 처리 시각과 ID라는 구조화된 값이고, 처리 건 9만 4천 건이 모두 시스템 표에 있다는 점을 들어 전수 분석을 택했다. 다만 분석 전에 감사팀이 직접 뽑은 자료의 건수를 월별 처리 보고서와 맞춰 봤고, 3월 자료가 이틀 치 빠져 있다는 것을 찾아 다시 추출했다. 전수 분석 결과 4시간을 넘긴 건이 312건 나왔고, 감사팀은 이 건들을 원인별로 다시 나눴다.

두 번째 질문은 사람이 사유를 읽어야 했다. 모집단은 승인 건 1만 8천 건이었는데, 이 가운데 해외 가맹점 건이 2천 건이었고 지난 감사에서 사유 누락이 몰렸던 곳이었다. 단순 무작위로 60건을 뽑으면 해외 건은 평균 일곱 건 정도만 뽑힌다. 감사팀은 해외와 국내를 나눠 각각 표본을 뽑는 층화 표본을 썼다. 위험 신호가 있는 해외 건만 뽑자는 의견도 있었지만, 그렇게 뽑은 결과는 승인 건 전체로 추정할 수 없어 감사 목적에 맞지 않았다.

평가 단계에서 국내 표본 한 건은 사유가 담긴 첨부 파일이 시스템 이관 중에 사라져 확인할 수 없었다. 같은 내용을 확인할 다른 기록도 없었다. 감사팀은 그 건을 빼지 않고 이탈로 평가했고, 첨부 파일 유실을 별도의 통제 문제로 기록했다. 조서에는 두 질문마다 방법을 고른 이유, 버린 방법, 자료 완전성 확인 결과가 남았다.

누리봄공사: 생성형 답변을 어떻게 재수행할까

공공기관 '누리봄공사'는 임대주택 입주 자격 문의에 생성형 AI가 답변 초안을 쓰고, 상담원이 검토해 보낸다. 감사팀은 "자격 기준을 잘못 안내한 답변이 검토를 통과하지 않았는가"를 확인하려 했다.

팀원 한 명은 지난 분기 문의 몇 건을 지금 시스템에 다시 넣어 같은 답이 나오는지 보자고 했다. 감사팀장은 두 가지 이유로 받아들이지 않았다. 생성형 모델은 같은 입력에도 출력이 달라질 수 있어 다시 실행한 결과로 과거 기록의 옳고 그름을 판단할 수 없고, 지난 분기 이후 지식 문서가 두 번 갱신돼 지금 시스템은 그때의 시스템이 아니었다.

감사팀은 로그부터 확인했다. 로그에는 문의 원문, AI 초안 원문, 상담원이 보낸 최종 답변, 지시문과 지식 문서의 버전, 상담원 ID가 남아 있었다. 다만 보관 설정이 90일이라, 분기 초의 기록 일부는 곧 보존 기한이 끝나 지워질 상황이었다. 감사팀은 먼저 기록을 보존하도록 요청한 뒤, 문의 4만 1천 건에서 표본을 뽑았다. 그리고 상담원이 보낸 답변을 그 시점의 지식 문서 버전과 공고문에 비추어 감사인이 다시 판단했다. 이것이 생성형 AI가 관여한 통제의 재수행이었다.

표본 60건 중 3건에서 소득 기준을 잘못 안내한 답변이 그대로 발송됐다. 세 건 모두 AI 초안의 오류를 상담원이 고치지 않은 경우였다. 감사팀은 이 결과를 표본 위험과 함께 평가했고, 결정 근거 보관 기간(3년)보다 짧은 로그 보관 설정을 별도 발견 사항으로 올렸다.

자주 틀리는 지점

1. "자료가 수만 건이니 증거는 충분하다." 양은 충분성의 한 측면일 뿐입니다. 질이 낮은 증거는 양으로 보완되지 않습니다.
2. "감사인이 직접 추출했으니 완전성은 확인할 필요가 없다." 컴퓨터로 처리된 정보는 누가 추출했든 완전성과 정확성을 평가합니다(GAO 8.98).
3. "위험한 건만 골라 본 결과로 전체 오류율을 말할 수 있다." 특정 항목 선택의 결과는 모집단으로 추정할 수 없습니다(AS 1105 .27).
4. "모집단이 네 배가 되면 표본도 네 배로 늘려야 한다." 모집단이 아주 작지 않다면 그 크기는 표본 크기에 거의 영향을 주지 않습니다.
5. "확인할 수 없는 표본 건은 빼고 평가한다." 대체 절차도 적용할 수 없다면 대개 이탈로 봅니다(AS 2315 .40).
6. "표본 이탈률이 허용 이탈률보다 낮거나 같으면 통과다." 표본 위험 때문에 실제 이탈률이 허용치를 넘을 가능성을 고려해야 합니다. 60건 중 1건(1.7%)처럼 낮아 보여도 판단이 필요합니다.
7. "생성형 AI를 다시 돌려 같은 답이 나오면 기록이 맞다." 생성형 모델은 완전히 결정적이지 않습니다. 기록된 입력과 출력으로 판단을 재수행합니다.
8. "AI 회의록이나 AI 요약은 사람의 실수가 없어 더 믿을 만하다." 요약은 원본에서 만든 자료이고 그럴듯한 오답이 섞일 수 있습니다. 원본과 대조합니다.

한눈에 정리

공식 문서로 확인하기

• PCAOB — AS 1105 Audit Evidence: 충분성·적합성(.04–.08), 회사가 만든 정보(.10), 절차(.15–.21), 항목 선택(.22–.28), 상충 증거(.29).
• PCAOB — AS 2315 Audit Sampling: 층화(.22), 대표성(.24, .39), 표본 크기(.19, .23, .38, 부록 표 1), 평가(.40–.43).
• GAO — Government Auditing Standards 2024: 증거(8.90–8.115), 문서화(8.132–8.135).
• GAO-21-519SP: 실무 3.1(구성 요소 목록), 4.3(추적 가능성).
• NIST AI 600-1: Confabulation과 자동화 편향.
• Claude Docs — Messages API: temperature 매개변수 설명과 결정성에 관한 주석.

셀프 체크

3-1. Yellow Book이 말하는 적합성의 세 요소를 쓰고, "고객 만족도 점수로 AI 답변의 정확성을 판단한다"는 계획이 그중 어느 요소에서 약한지 설명하라.

3-2. 회사가 만든 정보를 증거로 쓰기 위한 두 가지 방법을 쓰고, 각각이 알맞은 상황을 하나씩 들라.

3-3. 위험 신호가 있는 건만 골라 확인한 결과를 보고서에 쓸 때 지켜야 할 제약을 쓰라.

3-4. 통제 테스트의 표본 크기를 정하는 세 요소를 쓰고, 모집단 크기가 표본 크기에 미치는 영향을 한 문장으로 설명하라.

3-5. 허용 이탈률 5%로 표본 60건을 테스트했는데 이탈이 1건 나왔다. 감사인이 결론을 내리기 전에 함께 고려할 두 가지를 쓰라.

3-6. 결정론적 점수 모델과 생성형 요약 모델의 결과를 재수행하는 방법이 왜 다른지 설명하고, 생성형 모델의 재수행에 필요한 로그 항목 세 가지를 쓰라.

3-7. (설계) 감사팀이 생성형 AI로 내부 제보 2만 건을 분류해 부정 의심 사례를 찾으려 한다. 이 결과를 감사 증거로 쓰기 위한 절차를 네 단계로 설계하라.

실습 과제