| AI 사용 현황 목록(인벤토리) |
조직이 개발·도입·사용하는 AI 시스템을 용도, 데이터, 책임자, 공급자 등과 함께 정리한 목록. 감사 범위의 출발점이다. |
| 섀도 AI |
조직의 승인이나 관리 밖에서 쓰이는 AI. 주로 업무상 필요와 느린 승인 절차에서 생긴다. |
| 내장 AI 기능 |
기존 업무용 소프트웨어 안에서 제공되는 요약·초안 작성 같은 AI 기능. 추가 결제·라이선스·활성화가 필요한지는 제품과 계약에 따라 다르다. |
| 사용 경로 |
AI가 업무에 들어오는 길. 사무실 웹 접속, 개인 결제, 회사 계약, 내장 기능, API 등이며 흔적이 남는 곳이 다르다. |
| 위험 기반 감사 |
영향의 크기와 발생 가능성에 따라 감사 대상과 깊이, 시간을 배분하는 방식. |
| 감사 깊이 |
관리 체계 확인, 핵심 통제 테스트, 정밀 감사처럼 시스템별로 정하는 감사의 상세 수준. |
| 감사 기준(criteria) |
있어야 할 상태. 법령, 표준, 계약, 조직 지침, 기대 성과, 업계 관행 등이 될 수 있다. |
| 보증 업무 |
통제나 활동이 효과적인지에 대해 독립적인 결론을 주는 내부감사 업무. |
| 자문 업무 |
경영진이 통제를 설계하거나 개선하도록 조언하는 내부감사 업무. 결정과 운영은 경영진에 남는다. |
| 객관성 |
판단이 영향이나 이해관계에 흔들리지 않는 상태. 이전에 책임졌던 활동을 평가하면 손상된다. |
| 자기 검토 위협 |
감사인이 이전에 직접 수행한 업무나 판단을 스스로 평가할 때 생기는 독립성 위협. |
| 경영진의 책임 |
정책 결정, 통제의 설계·구현·유지, 권고의 실행 여부 결정처럼 감사인이 맡으면 독립성이 손상되는 일. |
| 전문가 |
감사에 필요한 특수 기법이나 지식을 가진 사람. 역량과 객관성을 평가하고 작업 범위를 문서화해 쓴다. |
| 고영향 인공지능 |
인공지능기본법 제2조제4호가 정한 영역에서 쓰여 생명, 신체의 안전, 기본권에 중대한 영향을 줄 수 있는 AI 시스템. |
| 사전 검토 |
사업자가 AI가 고영향에 해당하는지 미리 검토하는 일(인공지능기본법 제33조제1항). |
| 이용사업자 간주 |
제34조제1항제1호부터 제3호까지의 조치를 모두 또는 일부 이행한 인공지능사업자로부터 시스템을 받아 중대한 기능 변경 없이 쓰는 이용사업자는 그 조치를 모두 또는 일부 이행한 것으로 보는 규정(시행령 제27조제3항). |
| 업무위탁 |
개인정보 처리 업무를 제3자에게 맡기는 것. 위탁 문서, 공개, 수탁자 교육·감독이 필요하다(개인정보 보호법 제26조). |
| 자동화된 결정 |
완전히 자동화된 시스템이 개인정보를 처리해 내리는 결정(행정청의 자동적 처분은 제외). 권리·의무에 중대한 영향을 미치면 거부할 수 있고, 설명 등을 요구할 수 있다(개인정보 보호법 제37조의2). |
| NIST AI RMF |
미국 NIST의 AI 위험관리 프레임워크. GOVERN, MAP, MEASURE, MANAGE 네 기능으로 이뤄진다. |
| GAO AI 책임성 프레임워크 |
미국 GAO가 거버넌스, 데이터, 성능, 모니터링 네 원칙으로 정리한 AI 감사의 핵심 실무와 감사 질문. |
| ISO/IEC 42001 |
AI 경영시스템을 수립·실행·유지·지속 개선하기 위한 요구사항을 정한 국제 표준. 인증은 인증기관이 한다. |
| 통제 |
위험이 결과로 이어지지 않게 하는 정책, 절차, 시스템 장치. |
| 예방 통제 |
오류나 부정이 생기지 않게 미리 막는 통제. |
| 적발 통제 |
생긴 오류나 부정을 제때 찾아내는 통제. |
| 자동 통제 |
시스템이 사람의 개입 없이 수행하는 통제. 반복 수행에서 사람의 실수 위험은 낮지만 잘못된 설정·데이터·프로그램 변경으로 효과가 훼손될 수 있다. |
| 설계 효과성 |
통제가 정해진 대로 수행되면 통제 목적을 이룰 수 있게 만들어졌는지 여부. |
| 운영 효과성 |
통제가 실제로 설계대로 수행됐고, 수행자에게 필요한 권한과 역량이 있었는지 여부. |
| 설계 미비 |
필요한 통제가 없거나, 정해진 대로 운영돼도 목적을 이루지 못하게 설계된 상태. |
| 운영 미비 |
적절히 설계된 통제가 정해진 대로 수행되지 않았거나, 수행자에게 권한·역량이 없는 상태. |
| 워크스루 |
거래 하나를 처음부터 끝까지 따라가며 질문, 관찰, 문서 검사를 함께 하는 절차. 설계 평가에 주로 쓴다. |
| 재수행 |
회사가 수행한 절차나 통제를 감사인이 독립적으로 다시 실행하는 절차. |
| 재계산 |
정보의 수학적 정확성을 감사인이 다시 계산해 확인하는 절차. |
| 이탈 |
표본 항목에서 통제가 정해진 대로 수행되지 않은 경우. |
| 형식적 승인 |
검토 절차는 있지만 실제로는 AI 결과를 그대로 통과시키는 상태. |
| 자동화 편향 |
사람이 자동화된 시스템의 결과에 지나치게 기대거나 다른 출처보다 높게 평가하는 경향. |
| 최소 권한 |
업무에 꼭 필요한 최소한의 권한만 주는 원칙. 사람 계정과 AI 에이전트 모두에 적용한다. |
| 기준선 전략(벤치마킹) |
일반 통제가 효과적이고 자동 통제가 바뀌지 않았음을 확인해 이전 테스트 결과를 계속 기대는 방식. |
| 서비스 조직 보고서 |
외부 서비스 조직의 통제에 대해 독립 감사인이 작성한 보고서. 종류, 범위, 기간을 읽어야 한다. |
| 이용자 측 보완 통제 |
서비스 조직의 통제가 효과를 내려면 이용 회사가 운영해야 한다고 전제한 통제. |
| 충분성 |
감사 증거의 양. |
| 적합성 |
감사 증거의 질. 관련성과 신뢰성(Yellow Book은 타당성도 포함)으로 이뤄진다. |
| 회사가 만든 정보 |
피감 조직의 시스템이나 직원이 만든 보고서·로그·집계. 정확성과 완전성을 확인해야 증거로 쓴다. |
| 전수 검사 |
모집단의 모든 항목을 검사하는 방법. 절차를 자동화할 수 있을 때 특히 알맞다. |
| 특정 항목 선택 |
중요하거나 위험한 항목을 골라 검사하는 방법. 결과를 모집단으로 추정할 수 없다. |
| 감사 표본 |
모집단의 일부에 절차를 적용해 모집단의 특성을 평가하는 방법. |
| 층화 |
모집단을 감사 목적과 관련된 특성으로 비슷한 집단으로 나눠 집단마다 표본을 뽑는 방법. |
| 허용 이탈률 |
계획한 통제 신뢰를 바꾸지 않고 받아들일 수 있는 최대 이탈률. |
| 표본 위험 |
표본으로 내린 결론이 모집단 전체를 검사했을 때의 결론과 다를 위험. 표본이 작을수록 크다. |
| 재현 가능성 |
같은 입력으로 같은 결과를 다시 얻을 수 있는 성질. 생성형 모델은 완전히 결정적이지 않다. |
| confabulation |
생성형 AI가 자신 있게 진술된 잘못되거나 거짓인 내용을 만드는 현상. 흔히 환각이라 부른다. |
| 혼동 행렬 |
분류 결과를 참 양성, 거짓 양성, 거짓 음성, 참 음성의 네 칸으로 정리한 표. |
| 재현율 |
실제 양성 가운데 모델이 양성으로 잡아낸 비율. |
| 거짓 음성률 |
실제 양성 가운데 모델이 놓친 비율. 1에서 재현율을 뺀 값이다. |
| 특이도 |
실제 음성 가운데 모델이 음성으로 맞힌 비율. |
| 정밀도 |
모델이 양성으로 판정한 것 가운데 실제 양성의 비율. |
| 거짓 양성률 |
실제 음성 가운데 모델이 양성으로 잘못 판정한 비율. |
| 기준선 |
성능을 견줄 비교 대상. 다수 클래스 판정, 기존 방식, 사람의 성능 등. |
| 타당성 확인 |
특정한 의도된 사용의 요구사항이 충족됐음을 객관적 증거로 확인하는 것. |
| 신뢰성 |
주어진 조건에서 주어진 기간 동안 실패 없이 요구된 대로 작동하는 능력. |
| 정확도 |
결과가 참값 또는 참으로 받아들여지는 값에 가까운 정도. |
| 견고성 |
다양한 상황에서 성능 수준을 유지하는 능력. |
| 데이터 누수 |
평가 데이터의 정보가 학습에 섞여 들어가 성능이 실제보다 높게 측정되는 문제. |
| 대리 변수 |
민감 변수를 빼도 그 역할을 대신하는 다른 변수(거주지, 이용 패턴 등). |
| 라벨 편향 |
정답 라벨 자체에 담긴 치우침. 과거 사람의 결정을 정답으로 쓸 때 생기기 쉽다. |
| 드리프트 |
운영 중 입력 데이터(데이터 드리프트)나 입력과 결과의 관계(개념 드리프트)가 학습 때와 달라지는 현상. |
| 회귀 평가 |
변경 뒤에도 기존 기능이 그대로 작동하는지 변경 전후를 비교하는 평가. |
| 발견 사항 |
감사에서 찾은 기준과 현황의 차이. 기준, 현황, 원인, 영향으로 전개한다. |
| 근본 원인 |
기준과 현황의 차이를 만든 더 깊은 요인. 권고가 겨냥해야 하는 대상이다. |
| 위험 수용 |
위험을 줄이지 않고 받아들이는 대응. 허용 한도를 넘으면 최고경영진과 이사회에 보고한다. |
| 후속 확인 |
권고나 조치 계획이 실제로 이행돼 원인을 해소했는지 위험 기반으로 확인하는 절차. |