부록 A. 용어집

용어 뜻
AI 사용 현황 목록(인벤토리) 조직이 개발·도입·사용하는 AI 시스템을 용도, 데이터, 책임자, 공급자 등과 함께 정리한 목록. 감사 범위의 출발점이다.
섀도 AI 조직의 승인이나 관리 밖에서 쓰이는 AI. 주로 업무상 필요와 느린 승인 절차에서 생긴다.
내장 AI 기능 기존 업무용 소프트웨어 안에서 제공되는 요약·초안 작성 같은 AI 기능. 추가 결제·라이선스·활성화가 필요한지는 제품과 계약에 따라 다르다.
사용 경로 AI가 업무에 들어오는 길. 사무실 웹 접속, 개인 결제, 회사 계약, 내장 기능, API 등이며 흔적이 남는 곳이 다르다.
위험 기반 감사 영향의 크기와 발생 가능성에 따라 감사 대상과 깊이, 시간을 배분하는 방식.
감사 깊이 관리 체계 확인, 핵심 통제 테스트, 정밀 감사처럼 시스템별로 정하는 감사의 상세 수준.
감사 기준(criteria) 있어야 할 상태. 법령, 표준, 계약, 조직 지침, 기대 성과, 업계 관행 등이 될 수 있다.
보증 업무 통제나 활동이 효과적인지에 대해 독립적인 결론을 주는 내부감사 업무.
자문 업무 경영진이 통제를 설계하거나 개선하도록 조언하는 내부감사 업무. 결정과 운영은 경영진에 남는다.
객관성 판단이 영향이나 이해관계에 흔들리지 않는 상태. 이전에 책임졌던 활동을 평가하면 손상된다.
자기 검토 위협 감사인이 이전에 직접 수행한 업무나 판단을 스스로 평가할 때 생기는 독립성 위협.
경영진의 책임 정책 결정, 통제의 설계·구현·유지, 권고의 실행 여부 결정처럼 감사인이 맡으면 독립성이 손상되는 일.
전문가 감사에 필요한 특수 기법이나 지식을 가진 사람. 역량과 객관성을 평가하고 작업 범위를 문서화해 쓴다.
고영향 인공지능 인공지능기본법 제2조제4호가 정한 영역에서 쓰여 생명, 신체의 안전, 기본권에 중대한 영향을 줄 수 있는 AI 시스템.
사전 검토 사업자가 AI가 고영향에 해당하는지 미리 검토하는 일(인공지능기본법 제33조제1항).
이용사업자 간주 제34조제1항제1호부터 제3호까지의 조치를 모두 또는 일부 이행한 인공지능사업자로부터 시스템을 받아 중대한 기능 변경 없이 쓰는 이용사업자는 그 조치를 모두 또는 일부 이행한 것으로 보는 규정(시행령 제27조제3항).
업무위탁 개인정보 처리 업무를 제3자에게 맡기는 것. 위탁 문서, 공개, 수탁자 교육·감독이 필요하다(개인정보 보호법 제26조).
자동화된 결정 완전히 자동화된 시스템이 개인정보를 처리해 내리는 결정(행정청의 자동적 처분은 제외). 권리·의무에 중대한 영향을 미치면 거부할 수 있고, 설명 등을 요구할 수 있다(개인정보 보호법 제37조의2).
NIST AI RMF 미국 NIST의 AI 위험관리 프레임워크. GOVERN, MAP, MEASURE, MANAGE 네 기능으로 이뤄진다.
GAO AI 책임성 프레임워크 미국 GAO가 거버넌스, 데이터, 성능, 모니터링 네 원칙으로 정리한 AI 감사의 핵심 실무와 감사 질문.
ISO/IEC 42001 AI 경영시스템을 수립·실행·유지·지속 개선하기 위한 요구사항을 정한 국제 표준. 인증은 인증기관이 한다.
통제 위험이 결과로 이어지지 않게 하는 정책, 절차, 시스템 장치.
예방 통제 오류나 부정이 생기지 않게 미리 막는 통제.
적발 통제 생긴 오류나 부정을 제때 찾아내는 통제.
자동 통제 시스템이 사람의 개입 없이 수행하는 통제. 반복 수행에서 사람의 실수 위험은 낮지만 잘못된 설정·데이터·프로그램 변경으로 효과가 훼손될 수 있다.
설계 효과성 통제가 정해진 대로 수행되면 통제 목적을 이룰 수 있게 만들어졌는지 여부.
운영 효과성 통제가 실제로 설계대로 수행됐고, 수행자에게 필요한 권한과 역량이 있었는지 여부.
설계 미비 필요한 통제가 없거나, 정해진 대로 운영돼도 목적을 이루지 못하게 설계된 상태.
운영 미비 적절히 설계된 통제가 정해진 대로 수행되지 않았거나, 수행자에게 권한·역량이 없는 상태.
워크스루 거래 하나를 처음부터 끝까지 따라가며 질문, 관찰, 문서 검사를 함께 하는 절차. 설계 평가에 주로 쓴다.
재수행 회사가 수행한 절차나 통제를 감사인이 독립적으로 다시 실행하는 절차.
재계산 정보의 수학적 정확성을 감사인이 다시 계산해 확인하는 절차.
이탈 표본 항목에서 통제가 정해진 대로 수행되지 않은 경우.
형식적 승인 검토 절차는 있지만 실제로는 AI 결과를 그대로 통과시키는 상태.
자동화 편향 사람이 자동화된 시스템의 결과에 지나치게 기대거나 다른 출처보다 높게 평가하는 경향.
최소 권한 업무에 꼭 필요한 최소한의 권한만 주는 원칙. 사람 계정과 AI 에이전트 모두에 적용한다.
기준선 전략(벤치마킹) 일반 통제가 효과적이고 자동 통제가 바뀌지 않았음을 확인해 이전 테스트 결과를 계속 기대는 방식.
서비스 조직 보고서 외부 서비스 조직의 통제에 대해 독립 감사인이 작성한 보고서. 종류, 범위, 기간을 읽어야 한다.
이용자 측 보완 통제 서비스 조직의 통제가 효과를 내려면 이용 회사가 운영해야 한다고 전제한 통제.
충분성 감사 증거의 양.
적합성 감사 증거의 질. 관련성과 신뢰성(Yellow Book은 타당성도 포함)으로 이뤄진다.
회사가 만든 정보 피감 조직의 시스템이나 직원이 만든 보고서·로그·집계. 정확성과 완전성을 확인해야 증거로 쓴다.
전수 검사 모집단의 모든 항목을 검사하는 방법. 절차를 자동화할 수 있을 때 특히 알맞다.
특정 항목 선택 중요하거나 위험한 항목을 골라 검사하는 방법. 결과를 모집단으로 추정할 수 없다.
감사 표본 모집단의 일부에 절차를 적용해 모집단의 특성을 평가하는 방법.
층화 모집단을 감사 목적과 관련된 특성으로 비슷한 집단으로 나눠 집단마다 표본을 뽑는 방법.
허용 이탈률 계획한 통제 신뢰를 바꾸지 않고 받아들일 수 있는 최대 이탈률.
표본 위험 표본으로 내린 결론이 모집단 전체를 검사했을 때의 결론과 다를 위험. 표본이 작을수록 크다.
재현 가능성 같은 입력으로 같은 결과를 다시 얻을 수 있는 성질. 생성형 모델은 완전히 결정적이지 않다.
confabulation 생성형 AI가 자신 있게 진술된 잘못되거나 거짓인 내용을 만드는 현상. 흔히 환각이라 부른다.
혼동 행렬 분류 결과를 참 양성, 거짓 양성, 거짓 음성, 참 음성의 네 칸으로 정리한 표.
재현율 실제 양성 가운데 모델이 양성으로 잡아낸 비율.
거짓 음성률 실제 양성 가운데 모델이 놓친 비율. 1에서 재현율을 뺀 값이다.
특이도 실제 음성 가운데 모델이 음성으로 맞힌 비율.
정밀도 모델이 양성으로 판정한 것 가운데 실제 양성의 비율.
거짓 양성률 실제 음성 가운데 모델이 양성으로 잘못 판정한 비율.
기준선 성능을 견줄 비교 대상. 다수 클래스 판정, 기존 방식, 사람의 성능 등.
타당성 확인 특정한 의도된 사용의 요구사항이 충족됐음을 객관적 증거로 확인하는 것.
신뢰성 주어진 조건에서 주어진 기간 동안 실패 없이 요구된 대로 작동하는 능력.
정확도 결과가 참값 또는 참으로 받아들여지는 값에 가까운 정도.
견고성 다양한 상황에서 성능 수준을 유지하는 능력.
데이터 누수 평가 데이터의 정보가 학습에 섞여 들어가 성능이 실제보다 높게 측정되는 문제.
대리 변수 민감 변수를 빼도 그 역할을 대신하는 다른 변수(거주지, 이용 패턴 등).
라벨 편향 정답 라벨 자체에 담긴 치우침. 과거 사람의 결정을 정답으로 쓸 때 생기기 쉽다.
드리프트 운영 중 입력 데이터(데이터 드리프트)나 입력과 결과의 관계(개념 드리프트)가 학습 때와 달라지는 현상.
회귀 평가 변경 뒤에도 기존 기능이 그대로 작동하는지 변경 전후를 비교하는 평가.
발견 사항 감사에서 찾은 기준과 현황의 차이. 기준, 현황, 원인, 영향으로 전개한다.
근본 원인 기준과 현황의 차이를 만든 더 깊은 요인. 권고가 겨냥해야 하는 대상이다.
위험 수용 위험을 줄이지 않고 받아들이는 대응. 허용 한도를 넘으면 최고경영진과 이사회에 보고한다.
후속 확인 권고나 조치 계획이 실제로 이행돼 원인을 해소했는지 위험 기반으로 확인하는 절차.