5장. 위험 평가와 책임성

학습 목표

• AI 위험을 영향받는 사람, 발생 조건, 피해로 이루어진 피해 시나리오로 쓴다.
• NIST AI RMF의 네 기능과 일곱 가지 신뢰성 특성, 생성형 AI 프로파일의 위험 범주를 설명한다.
• 위험 대응의 네 가지 선택과 잔여 위험을 구분하고, 위험 등급에 비례하는 통제를 배치한다.
• 법령이 요구하는 기록과 조직이 판단을 설명하는 데 필요한 기록을 설계한다.
• 경영시스템 인증과 프런티어 안전 프레임워크의 목적과 한계를 설명한다.

들어가며

어느 회사가 AI 사용 사례 스무 건을 모두 "위험 높음"으로 분류했다고 합시다. 모든 사례에 사전 심의, 이중 검토, 월간 보고가 붙었습니다. 석 달 뒤 위원회는 서류에 묻혀 정작 고객에게 영향을 주는 두 건을 깊이 보지 못했습니다. 반대로 모든 사례를 "낮음"으로 두면 아무도 보지 않습니다. 위험 평가는 위험을 없애는 일이 아니라, 한정된 주의와 자원을 어디에 쓸지 정하는 일입니다. 모든 곳을 똑같이 지키려 하면 어느 곳도 제대로 지키지 못합니다.

그리고 그 판단은 나중에 설명할 수 있어야 합니다. 감독기관이 묻든, 고객이 묻든, 다음 해의 담당자가 묻든, "왜 이 통제를 골랐고 무엇을 감수했는가"에 답할 기록이 책임성의 실체입니다.

이 장에서 다루는 프레임워크는 법령이 아니라 판단을 정리하는 도구이므로, 2·3장의 법정 의무와 어떻게 맞물리는지에 특히 주의하세요. 이 장은 위험을 쓰는 법에서 시작해 NIST AI RMF의 구조, 신뢰성 특성, 생성형 AI 위험 범주를 정리합니다. 이어서 대응 선택과 등급별 통제 매핑, 법정 요구와의 구분, 기록과 감사, 운영 중 모니터링을 다루고, 마지막으로 ISO/IEC 42001과 프런티어 안전 프레임워크가 무엇을 말해 주고 무엇을 말해 주지 않는지 살핍니다.

핵심 개념

위험을 피해 시나리오로 쓰기

"편향 위험", "환각 위험" 같은 이름표는 평가할 수 없습니다. 위험은 누가, 어떤 조건에서, 어떤 피해를 입는가로 써야 측정하고 통제할 수 있습니다.

나쁜 예: 편향 위험
좋은 예: 사투리가 섞인 음성 문의를 의도 분류 모델이 "불만 아님"으로 잘못 분류해,
        고령 고객의 해지 요청이 평균보다 늦게 처리된다. (영향받는 사람: 고령 고객,
        조건: 비표준 발화, 피해: 처리 지연과 추가 요금, 회복: 요금 환급으로 일부 가능)

시나리오마다 영향(피해의 크기, 권리에 대한 영향, 회복 가능성, 영향받는 사람 수)과 가능성(발생 빈도, 조건이 얼마나 흔한가)을 평가합니다. 위험 등급은 비용이 아니라 사람과 권리에 미치는 영향을 중심으로 정합니다. 창고와 학교 건물의 안전 점검 주기가 다른 것은 건물 값이 아니라 그 안에 있는 사람 때문입니다.

NIST AI RMF의 구조와 시작 흐름

NIST AI 위험관리 프레임워크(AI RMF 1.0, 2023년 1월 26일 발표)는 AI 위험 관리를 네 기능으로 나눕니다.

NIST는 Govern이 자리 잡은 뒤 대부분 Map에서 시작해 Measure나 Manage로 이어 가고, 필요에 따라 기능 사이를 오가며 반복한다고 설명합니다. 한 번 끝내는 순서가 아니라 도는 고리입니다.

신뢰할 수 있는 AI의 일곱 가지 특성

AI RMF는 신뢰할 수 있는 AI의 특성을 일곱 가지로 듭니다. 타당하고 신뢰할 수 있음(valid and reliable), 안전함(safe), 보안과 복원력(secure and resilient), 책임성과 투명성(accountable and transparent), 설명 가능성과 해석 가능성(explainable and interpretable), 프라이버시 강화(privacy-enhanced), 유해한 편향이 관리된 공정성(fair with harmful bias managed)입니다.

NIST는 "타당하고 신뢰할 수 있음"을 신뢰성의 필요조건으로, "책임성과 투명성"을 다른 모든 특성과 관련된 것으로 설명합니다. 특성끼리는 충돌할 수 있어서 맥락에 맞게 균형을 잡아야 합니다. 예를 들어 설명을 자세히 할수록 프라이버시나 보안과 부딪힐 수 있습니다.

비슷해 보이는 세 특성은 답하는 질문이 다릅니다. 투명성은 시스템에서 "무슨 일이 있었는가", 설명 가능성은 결정이 "어떻게" 내려졌는가, 해석 가능성은 결정이 "왜" 그렇게 나왔고 사용자에게 무슨 의미인가에 답합니다. 로그로 입력과 모델 버전을 재현할 수 있다는 것은 투명성이고, 고객이 자기 결과의 이유를 이해할 수 있게 하는 것은 해석 가능성의 문제입니다.

생성형 AI 프로파일의 열두 가지 위험

NIST AI 600-1(생성형 AI 프로파일, 2024년 7월)은 생성형 AI에 고유하거나 더 커지는 위험을 열두 가지로 정리합니다.

이 표는 피해 시나리오를 빠뜨리지 않도록 돕는 점검표로 쓰기 좋습니다. 사례마다 열두 범주를 훑어 해당하는 것을 고르고, 고른 범주마다 구체적인 시나리오를 씁니다.

위험 대응의 네 가지 선택과 잔여 위험

AI RMF는 문서화된 위험의 처리를 영향, 가능성, 가용 자원에 따라 우선순위화하고(MANAGE 1.2), 대응 선택지로 **완화(mitigating), 이전(transferring), 회피(avoiding), 수용(accepting)**을 듭니다(MANAGE 1.3).

통제를 다 적용하고도 남는 위험이 잔여 위험입니다. AI RMF는 하위 구매자와 최종 사용자에 대한 부정적 잔여 위험을 문서화하라고 합니다(MANAGE 1.4). 잔여 위험은 숨기는 것이 아니라 적고, 수용권자가 서명하고, 필요하면 시스템을 넘겨받는 쪽에 알리는 것입니다. 이전도 위험을 없애지는 않습니다. 계약으로 비용을 나눌 수 있어도 영향받는 사람의 피해는 그대로이므로, 사람에 대한 영향이 큰 위험은 이전만으로 처리하지 않습니다.

위험 등급별 통제 매핑

이 장의 기술 목표는 "위험 등급별 통제 매핑"입니다. 등급마다 통제의 묶음을 미리 정해 두면 판단이 빨라지고 일관됩니다.

매핑할 때 두 가지를 피하세요. 하나는 같은 등급이면 통제도 똑같다는 생각입니다. 피해의 원인이 다르면 통제도 달라야 합니다. 개인정보 노출이 원인이면 입력 최소화가, 틀린 답이 원인이면 근거 확인과 사람 검토가 핵심 통제입니다. 다른 하나는 점수가 낮으면 법정 의무도 면제된다는 생각입니다. 이것은 다음 절의 주제입니다.

법정 요구와 재량 통제 구분하기

위험 등록부의 통제에는 성격이 다른 두 종류가 섞여 있습니다. 하나는 법령이 요구하는 것이고, 다른 하나는 조직이 위험에 비례해 고르는 것입니다.

등록부에 "근거" 열을 두고 법령·계약·내부 판단을 표시하면, 재량 통제는 비례적으로 줄이면서 법정 요구는 놓치지 않을 수 있습니다.

기록과 감사

책임성은 "나중에 설명할 수 있는가"로 확인됩니다. 다음 기록은 법령상 요구이거나 실무상 꼭 필요합니다.

버전 관리가 핵심입니다. 모델을 바꿀 때마다 위험관리 문서를 덮어쓰면, 과거 시점의 결정을 설명할 수 없게 됩니다. 판마다 날짜를 붙여 새로 남기세요. 동시에 기록도 개인정보 처리입니다. 감사 로그에 프롬프트 원문을 통째로 남기면 그 로그가 새로운 위험이 됩니다. 필요한 항목만, 접근 권한을 제한해, 보관 기간을 정해 남깁니다. 다른 법령상 보존 의무가 있는 기록은 개인정보 보호법 제21조제3항에 따라 다른 개인정보와 분리해 보관합니다.

감사는 두 가지를 따로 봅니다. 설계 적정성은 통제가 위험을 다루도록 제대로 설계되었는가이고, 운영 효과성은 그 통제가 실제로 작동했는가입니다. 규정에 사람 검토가 있어도 표본을 뽑아 보면 검토 흔적이 없을 수 있습니다.

운영 중 모니터링과 사고 대응

AI는 배포 뒤에 바뀝니다. 입력 분포가 변하고, 벤더가 모델을 업데이트하고, 사용자가 예상하지 못한 방식으로 씁니다. AI RMF는 배포 후 모니터링 계획을 실행하고(MANAGE 4.1), 사고와 오류를 영향받는 공동체를 포함한 관계자에게 알리며(MANAGE 4.3), 최종 사용자와 영향받는 사람이 문제를 보고하고 결과에 이의를 제기할 수 있는 절차를 두라고 합니다(MEASURE 3.3).

모니터링 계획에는 세 가지를 적습니다. 무엇을 볼 것인가(오류율, 집단별 성능 차이, 민원, 사람 검토에서 고쳐진 비율), 언제 행동할 것인가(지표가 넘으면 안 되는 선), 누가 무엇을 할 것인가(중단, 재평가, 통지). 법정 통지와도 연결합니다. 대화 로그의 유출등을 알게 되거나, 불법 접근은 확인됐지만 정보주체를 특정하기 곤란한 경우처럼 시행령의 유출 가능성 요건에 해당하면 3장의 72시간 통지 절차가 시작됩니다.

ISO/IEC 42001: 경영시스템 인증

ISO/IEC 42001(2023)은 AI를 개발·제공·사용하는 조직이 AI 경영시스템을 수립, 실행, 유지하고 지속적으로 개선하기 위한 요구사항을 정한 국제표준입니다. 인증은 ISO가 직접 하지 않고 독립된 인증기관이 심사해 발급합니다.

인증이 말해 주는 것은 "그 조직에 AI를 관리하는 체계가 있고 심사를 통과했다"는 사실입니다. 특정 AI 제품이 정확하거나 공정하다는 보증이 아니고, 법령 준수를 대신하지도 않습니다. 영업 자료에 인증을 쓸 때는 인증 범위(어느 조직, 어느 사업장, 어느 활동)를 정확히 밝혀야 하고, 공급자의 인증을 조달 심사 자료로 쓸 때는 우리 사용 사례의 위험 평가를 따로 해야 합니다.

프런티어 안전 프레임워크

일부 AI 개발사는 최첨단 모델의 심각한 위험을 다루는 자율 프레임워크를 공개합니다.

이런 프레임워크의 목적은 대량 피해로 이어질 수 있는 극단적 역량 위험을 모델 개발과 배포 단계에서 관리하는 것입니다. 조달 심사에서는 공급자의 안전 관리 수준을 보여 주는 자료가 됩니다. 그러나 데이터 처리 계약이 아니고, 개별 출력의 정확성이나 공정성을 보증하지 않으며, 도입 기업이 자기 용도의 위험을 평가하고 법령상 책무를 이행할 책임을 옮기지도 않습니다. 인공지능기본법 제32조의 안전성 확보 의무도 극히 큰 연산량의 최첨단 시스템을 겨냥한다는 점에서 문제의식이 닮았지만, 법정 의무와 자율 프레임워크는 근거와 효력이 다릅니다.

깊이 읽기

점수의 함정

영향 5점 × 가능성 5점 같은 점수표에는 세 가지 함정이 있습니다. 서로 다른 피해를 한 숫자로 합치면 무엇을 막아야 하는지 흐려지고, 가능성은 낮지만 회복 불가능한 위험이 낮은 점수에 묻히며, 빈약한 추정이 숫자가 되는 순간 사실처럼 보입니다.

해법은 점수 옆에 두 가지를 함께 적는 것입니다. 하나는 불확실성(이 평가가 무엇에 근거하는가, 측정하지 못한 집단이나 조건이 있는가)이고, 다른 하나는 점수와 무관하게 다루는 조건(법정 의무, 회복 불가능한 피해, 아동이나 취약계층에 대한 영향)입니다. 측정하지 못한 부분은 "위험 낮음"이 아니라 "미측정"으로 표시하고, 넘겨받는 쪽에도 알립니다. 생명·안전이나 권리에 관한 핵심 지표가 미측정이면 배포를 보류할지 수용권자가 명시적으로 정합니다.

비결정적 출력과 재현성

생성형 AI는 다음 단어를 확률적으로 골라 답을 만들기 때문에 같은 입력에도 다른 답을 낼 수 있습니다. 그래서 "그때 왜 그런 답이 나왔는가"를 완벽하게 재현하기 어렵습니다. 그렇다고 설명을 포기할 수는 없습니다. 재현 대신 상황 증거를 남깁니다. 요청 시각, 모델과 버전, 시스템 프롬프트 판, 검색으로 들어간 문서의 식별자, 주요 설정, 출력, 사람 검토 결과입니다. 이 묶음이 있으면 같은 답을 다시 만들지 못해도 그 답이 어떤 조건에서 나왔는지는 설명할 수 있습니다.

실무 장면

늘품식품: 첫 위험 등록부를 만들 때

식품 제조사 '늘품식품'은 AI 사용 사례 아홉 건을 처음으로 위험 등록부에 올리기로 했다. 수요 예측, 생산 라인의 이물 검사 영상 분석, 마케팅 문구 생성, 고객 문의 챗봇, 협력사 서류 요약 등이었다. 경영지원팀은 처음에 "식품 안전에 관련되니 전부 높음"으로 하자고 했다.

리스크 담당자는 사례마다 피해 시나리오를 먼저 썼다. 이물 검사 AI가 이물을 놓치면 소비자가 다치고 회복이 어려우므로 높음으로 두되, AI는 기존 금속 검출기와 사람의 표본 검사를 대신하지 않고 더하는 구조로 했다. 마케팅 문구 생성은 허위·과장 표시 위험이 있어 중간(게시 전 담당자 검토), 협력사 서류 요약은 내부 초안이라 낮음이었다.

고객 문의 챗봇에서는 의견이 갈렸다. 알레르기 성분을 묻는 고객에게 틀린 답을 하면 건강 피해가 생길 수 있기 때문이다. 담당자는 챗봇 전체를 높음으로 올리는 대신, 알레르기·성분 질문은 챗봇이 답하지 않고 공식 성분표와 상담원으로 연결하도록 위험을 회피하는 설계를 택했다. 나머지 배송·주문 문의는 중간으로 남겼다. 생성형 AI 서비스이므로 인공지능기본법 제31조의 고지와 표시는 등급과 관계없는 법정 요구로 따로 표시했다.

등록부에는 수용권자의 이름과 재평가일, 그리고 "이물 검사 AI의 야간 조명 조건 성능은 아직 측정하지 못함"이라는 불확실성 메모가 함께 들어갔다.

도란도란: 자동 제재 오판 이후의 감사

지역 커뮤니티 앱 '도란도란'은 게시글을 AI로 검토해 욕설·사기 의심 글을 자동으로 숨기고, 반복되면 계정을 일시 정지한다. 지난달 벤더가 모델을 새 버전으로 바꾼 뒤, 지역 사투리와 노년층의 띄어쓰기 습관이 섞인 글이 사기 의심으로 숨겨지는 일이 늘었다는 민원이 들어왔다.

감사 담당자는 먼저 무엇이 바뀌었는지 기록을 찾았다. 다행히 회사는 판정마다 모델 버전, 분류 기준 판, 판정 점수를 남기고 있었다. 버전 교체 전후를 비교하니, 새 버전에서 특정 표현의 오판정 비율이 높아졌다. 이전 평가는 표준어 위주의 시험 데이터로만 이루어져, 이런 집단별 차이를 측정하지 못했다는 사실도 드러났다.

담당자는 세 가지를 권고했다. 첫째, 계정 정지는 자동으로 하지 않고 운영자가 확인한 뒤 하도록 바꾼다. 개인정보보호위원회 고시 별표가 자동 탐지 후 임시 차단하고 요구가 있으면 사람이 최종 결정하는 운영을 자동화된 결정의 예외로 드는 점도 참고했다. 둘째, 숨김 처리된 이용자에게 이유와 이의 제기 방법을 알리고, 이의 제기는 사람이 7일 안에 검토한다. 셋째, 모델 교체를 변경 관리 대상으로 올려, 새 버전은 지역·연령 집단별 표본으로 검증한 뒤 적용한다. 벤더의 공개 성능 점수가 더 좋아졌다는 개발팀의 설명은 이 판단을 바꾸지 못했다. 회사의 이용자 집단에서 측정한 결과가 아니었기 때문이다.

감사 보고서는 설계 문제(평가 데이터의 대표성)와 운영 문제(변경 관리 누락)를 나누고, 잘못 정지된 계정의 복구와 개별 안내 결과를 증거로 붙였다.

자주 틀리는 지점

1. "모든 사례에 최고 통제를 걸면 안전하다." 자원이 흩어져 정말 위험한 곳을 지키지 못합니다.
2. "공급자 인증이 있으니 우리 평가는 생략한다." 사용 맥락의 위험은 도입 조직이 평가합니다.
3. "프런티어 안전 프레임워크가 있으면 편향과 오류도 관리된다." 그 프레임워크는 극단적 역량 위험을 다룹니다.
4. "AI RMF는 순서대로 한 번 끝내면 된다." 기능은 반복되고, Govern은 전 과정에 걸칩니다.
5. "위험을 계약으로 이전하면 위험이 사라진다." 비용은 나눌 수 있어도 영향받는 사람의 피해는 남습니다.
6. "점수가 낮으면 법정 의무도 줄일 수 있다." 법정 요구는 위험 점수와 관계없이 이행합니다.
7. "로그로 재현할 수 있으면 설명한 것이다." 재현은 투명성이고, 당사자가 이유를 이해하게 하는 것은 해석 가능성의 문제입니다.
8. "모델을 바꿀 때 문서를 최신본으로 덮어쓰면 된다." 과거 결정을 설명하려면 판별 기록을 남겨야 합니다.

한눈에 정리

공식 문서로 확인하기

• NIST — AI Risk Management Framework: AI RMF 1.0, 개정 공지, Playbook, 생성형 AI 프로파일.
• NIST AIRC — AI RMF Core: 네 기능과 하위 범주(MANAGE 1.2~1.4, 4.1, 4.3, MEASURE 3.3).
• NIST AIRC — Trustworthy AI characteristics: 일곱 특성과 투명성·설명 가능성·해석 가능성의 구분.
• NIST AI 600-1 — Generative AI Profile: 열두 가지 위험의 정의.
• ISO — ISO/IEC 42001 explained: AI 경영시스템과 인증.
• Anthropic — Responsible Scaling Policy: 현행판과 개정 이력.
• Google DeepMind — Frontier Safety: 프레임워크의 목적과 판 이력.
• OpenAI — Preparedness Framework (v2): 추적 범주와 역량 기준.

셀프 체크

5-1. "환각 위험"이라는 이름표를 영향받는 사람, 발생 조건, 피해, 회복 가능성이 드러나는 피해 시나리오 한 문장으로 바꿔 쓰라.

5-2. NIST가 제시한 신뢰할 수 있는 AI의 일곱 특성을 쓰고, 그중 필요조건으로 설명되는 것과 다른 모든 특성과 관련된 것으로 설명되는 것을 고르라.

5-3. NIST AI 600-1이 정리한 열두 위험 범주 가운데 다섯 개를 쓰고, 이 목록을 위험 등록부 작성에 어떻게 활용하는지 한 문장으로 설명하라.

5-4. 위험 대응의 네 선택을 쓰고, 사람에 대한 영향이 큰 위험을 계약상 이전만으로 처리하면 안 되는 이유를 쓰라.

5-5. 이 장에서 다룬 인공지능기본법과 개인정보 보호법의 기록 가운데 보관 기간이 정해진 것 두 가지를 기간과 함께 쓰라.

5-6. AI 경영시스템 표준의 인증서가 증명하는 범위와 증명하지 못하는 범위를 두 가지씩 대비해 쓰라.

5-7. (설계) AI 사용 사례 네 개를 가정하고 위험 등록부를 만들라. 각 행에 피해 시나리오, 영향, 가능성, 등급, 통제, 근거(법령·계약·내부), 수용권자, 불확실성을 적으라.

실습 과제