4장. 모델·데이터 위험 검증

학습 목표

• 정확도, 정밀도, 재현율, 거짓 양성률을 계산하고 알맞은 기준선과 비교한다.
• 모델 성능 주장을 평가 세트의 대표성, 학습과의 분리, 측정 시점을 근거로 검증한다.
• 집단별 성능을 나눠 보고, 건수가 적은 집단의 불확실성과 정답 라벨의 치우침을 고려해 편향 여부를 검증한다.
• 학습·운영 데이터의 출처, 라벨 품질, 보강 여부를 점검한다.
• 모델 변경과 데이터 변화가 생겼을 때 재검증이 필요한지와 그 범위를 판단한다.

들어가며

한 은행의 데이터팀이 경영진 보고 자료에 이렇게 적었습니다. "새 부정 거래 탐지 모델의 정확도는 99.8%입니다." 숫자는 인상적이지만, 감사인은 바로 몇 가지를 묻습니다. 거래 가운데 부정은 몇 %인가? 부정이 0.1%라면, 모든 거래를 정상이라고 판정하는 "모델"도 정확도가 99.9%입니다. 그렇다면 99.8%는 아무것도 하지 않는 것보다 못한 숫자일 수도 있습니다.

AI 시스템의 위험 가운데 가장 AI다운 것은 모델과 데이터에서 옵니다. 모델은 평가할 때의 조건에서만 그 성능을 보장하고, 데이터는 시간이 지나면서 바뀌고, 과거 사람의 결정을 배운 모델은 그 결정의 치우침까지 배웁니다. 감사인은 모델을 직접 만들지 않지만, 모델에 대한 주장이 증거로 뒷받침되는지는 판단할 수 있어야 합니다. 그러려면 복잡한 수학보다, 숫자가 무엇과 비교됐고 어떤 조건에서 쟀는지를 끝까지 묻는 습관이 필요합니다.

이 장은 먼저 성능을 말하는 언어, 즉 타당성·신뢰성·정확도의 뜻과 혼동 행렬의 지표, 기준선을 익힙니다. 이어서 평가 세트가 갖춰야 할 조건과 생성형 AI의 품질 측정을 다루고, 편향과 집단별 성능, 데이터 출처와 품질을 살펴봅니다. 끝으로 운영 중 변화와 모델 변경 뒤의 재검증 범위를 정리합니다.

핵심 개념

타당성, 신뢰성, 정확도, 견고성

NIST AI RMF는 신뢰할 수 있는 AI의 특성 가운데 "타당하고 신뢰할 수 있음"을 다른 특성의 바탕이 되는 필요조건으로 둡니다. 용어의 뜻은 다음과 같습니다.

• 타당성 확인(validation): 특정한 의도된 사용이나 적용의 요구사항이 충족됐음을 객관적 증거로 확인하는 것(NIST가 ISO 9000:2015를 인용).
• 신뢰성(reliability): 주어진 조건에서 주어진 기간 동안 실패 없이 요구된 대로 작동하는 능력.
• 정확도(accuracy): 관찰·계산·추정 결과가 참값 또는 참으로 받아들여지는 값에 가까운 정도.
• 견고성(robustness): 다양한 상황에서 성능 수준을 유지하는 능력.

NIST는 정확도를 잴 때 거짓 양성률과 거짓 음성률 같은 계산 지표, 사람과 AI가 함께 일할 때의 성능, 학습 조건을 넘어서는 일반화 가능성을 고려하라고 하며, 정확도 측정은 항상 실제 사용 조건을 대표하는 명확하고 현실적인 평가 세트와 시험 방법의 세부 사항과 함께 제시해야 한다고 설명합니다. 결과를 데이터 구간별로 나눠 볼 수 있고, 어떤 실패는 더 큰 피해를 낳는다는 점도 고려하라고 합니다.

혼동 행렬과 지표

분류 모델의 결과는 네 칸으로 정리됩니다. 부정 거래 탐지를 예로 들면 다음과 같습니다.

이 네 칸에서 지표가 나옵니다.

숫자로 연습해 봅시다. 거래 50만 건 가운데 실제 부정이 500건이고, 모델이 600건을 부정으로 표시해 그중 450건이 실제 부정이었다고 합시다. TP 450, FP 150, FN 50, TN 499,350입니다. 재현율은 450÷500 = 90%(거짓 음성률은 50÷500 = 10%), 정밀도는 450÷600 = 75%, 거짓 양성률은 150÷499,500 ≈ 0.03%(특이도 약 99.97%), 정확도는 499,800÷500,000 = 99.96%입니다. 그런데 모든 거래를 정상으로 판정해도 정확도는 499,500÷500,000 = 99.9%입니다. 이 사례에서 정확도는 모델의 쓸모를 거의 말해 주지 않고, 재현율과 정밀도가 핵심을 말해 줍니다.

어떤 지표가 중요한지는 오류의 비용이 정합니다. 부정을 놓치면 손실이 생기고(거짓 음성), 정상 거래를 막으면 고객이 불편을 겪습니다(거짓 양성). 의료 선별 검사처럼 놓치는 비용이 큰 곳에서는 재현율이, 정상 고객을 막는 비용이 큰 곳에서는 정밀도와 거짓 양성률이 중요합니다. 두 지표는 분모가 다르다는 점을 기억하세요. 정상 거래가 압도적으로 많으면 거짓 양성률은 0.03%처럼 아주 작게 나오지만, 같은 사례에서 정밀도 75%는 경보 네 건 가운데 세 건만 실제 부정이고 한 건은 정상 고객을 잘못 막은 것이라는 뜻입니다. 고객 불편과 조사 업무량은 정밀도 쪽이 더 잘 보여 줍니다.

기준선

성능 수치는 비교 대상이 있어야 의미를 가집니다. 감사인이 쓰는 기준선은 세 가지입니다.

1. 다수 클래스 기준선: 모든 건을 가장 흔한 결과로 판정했을 때의 성능. 드문 사건을 찾는 모델에서 정확도를 해석할 때 반드시 봅니다.
2. 기존 방식 기준선: AI 도입 전의 규칙 기반 시스템이나 사람의 성능. "AI가 개선했다"는 주장을 검증할 때 씁니다.
3. 사람 기준선: 같은 사례를 사람이 판단했을 때의 성능. "사람보다 정확하다"는 주장을 검증할 때 씁니다.

기준선과 비교할 때는 같은 사례, 같은 기간, 같은 채점 기준을 써야 합니다. 3년 전 다른 사례로 잰 사람의 오류율과 최근 데이터로 잰 AI의 오류율을 나란히 놓은 표는 비교가 아닙니다.

평가 세트가 갖춰야 할 조건

NIST AI RMF는 시험·평가·검증·확인(TEVV)에 쓴 평가 세트, 지표, 도구를 문서화하고(MEASURE 2.1), 배포 환경과 비슷한 조건에서 성능을 입증하며(MEASURE 2.3), 배포할 시스템이 타당하고 신뢰할 수 있음을 보이고 개발 조건을 넘어서는 일반화의 한계를 문서화하라고 합니다(MEASURE 2.5). 감사인이 평가 세트에 대해 묻는 질문은 다섯 가지입니다.

1. 분리: 평가 사례가 학습에 쓰이지 않았는가? 같은 고객이나 같은 계정의 기록이 학습과 평가에 나뉘어 들어가면 모델이 개별 특징을 외워, 처음 보는 고객에서보다 점수가 높게 나올 수 있습니다. 이런 문제를 데이터 누수라고 합니다.
2. 대표성: 실제 사용 조건, 즉 거래 금액대나 문의 유형의 분포, 고객 구성, 계절을 반영하는가? 쉬운 사례 위주의 세트는 운영 성능을 과대평가합니다.
3. 시점: 언제 쟀는가? 측정 뒤 상품 구성이나 고객층이 크게 바뀌었다면 과거 수치는 현재 성능의 증거가 아닙니다.
4. 정답의 질: 정답(라벨)은 누가 어떻게 붙였는가? 라벨이 틀리거나 일관되지 않으면 지표 전체가 흔들립니다.
5. 지표의 적합성: 오류의 비용에 맞는 지표인가? 드문 사건에 정확도만 보고했다면 다시 계산해야 합니다.

생성형 AI의 품질 측정

생성형 AI의 출력은 정답이 하나로 정해지지 않는 경우가 많아 측정이 더 어렵습니다. NIST AI 600-1은 생성형 AI의 고유한 위험으로 confabulation, 즉 자신 있게 진술된 잘못되거나 거짓인 내용의 생성(흔히 환각이라 부른다)을 듭니다. 감사인은 다음을 확인합니다.

• 공식 기준과의 대조: 만족도나 "도움이 됐어요" 비율은 답변의 정확성이 아니라 그럴듯함을 반영할 수 있습니다. 정확성은 공식 자료와 대조해 잽니다.
• 유형별 측정: 금리, 자격 요건, 의학 정보처럼 틀리면 피해가 큰 질문 유형은 평균에 묻히지 않게 따로 잽니다.
• 사람이 수정한 비율의 해석: 상담원이 수정 없이 보낸 비율은 초안의 정확도가 아닙니다. 자동화 편향 때문에 틀린 초안도 그대로 나갈 수 있습니다.
• 평가 방법의 문서화: 어떤 질문 세트로, 어떤 채점 기준으로, 누가 채점했는지 남아 있어야 결과를 재현하고 비교할 수 있습니다.

편향의 세 갈래

NIST는 AI의 편향을 세 범주로 나눕니다. 체계적 편향은 데이터셋, 조직의 규범과 관행, 그리고 AI를 쓰는 사회 전반에 있을 수 있습니다. 계산·통계적 편향은 데이터셋과 알고리즘의 처리 과정에서 생기며, 대표성이 없는 표본에서 오는 체계적 오류에서 자주 생깁니다. 사람의 인지적 편향은 사람이 AI 정보를 받아들이고 해석하는 방식, 또는 설계·운영 과정의 판단에서 생깁니다. 그리고 이 세 가지 모두 선입견이나 차별 의도 없이도 생길 수 있다고 설명합니다.

이 구분은 감사에서 중요한 함의를 가집니다. 개발팀의 "차별할 의도가 없었다"는 설명은 편향 검토를 끝낼 근거가 되지 못합니다. 또 NIST는 해로운 편향을 줄인 시스템이 반드시 공정한 것은 아니라고도 말합니다. 예측이 집단 사이에 어느 정도 균형을 이뤄도 장애가 있는 사람에게 접근이 어렵거나 기존 격차를 키울 수 있기 때문입니다.

집단별 성능 검증

NIST AI RMF는 공정성과 편향을 평가하고 그 결과를 문서화하라고 하고(MEASURE 2.11), GAO 프레임워크는 운영에 쓰이는 데이터의 신뢰성·품질·대표성과 잠재적 편향을 평가하고(실무 2.7), 시스템 결과에서 생기는 잠재적 편향과 불평등을 식별하라고 합니다(실무 3.8). 집단별 검증의 기본은 결과를 나눠 보는 것입니다. 전체 정확도가 높아도 특정 집단의 오류율은 높을 수 있습니다.

나눠 볼 때 부딪히는 문제는 세 가지입니다.

1. 건수가 적은 집단. 수십 건짜리 집단에서는 큰 차이도 우연히 생길 수 있습니다. 감사 표본에서 표본으로 내린 결론이 전부를 봤을 때의 결론과 다를 위험(표본 위험)이 표본이 작을수록 커지는 것(AS 2315 .10)과 같은 원리가 여기에도 적용됩니다. 관찰 기간을 늘려 건수를 모으고, 차이와 함께 그 불확실성(신뢰구간)을 보고합니다. 작다고 무시해서는 안 됩니다.
2. 대리 변수. 성별이나 나이를 입력에서 빼도 거주지, 직업, 이용 패턴 같은 다른 변수가 그 역할을 대신할 수 있습니다. 예를 들어 특정 연령층이 몰려 사는 지역이라면 거주지가 나이를 대신 드러냅니다. "민감 변수를 뺐으니 편향은 없다"는 결론은 성립하지 않습니다.
3. 정답 라벨의 편향. 과거 심사역의 승인·거절 결정을 정답으로 학습한 모델은 그 결정에 담긴 치우침을 물려받습니다. 이때 과거 결정과의 일치율은 공정성의 증거가 아니라 과거의 편향까지 잘 따라 한다는 뜻일 수 있습니다. 실제 상환 여부 같은 독립된 결과와 대조해 라벨부터 점검합니다.

데이터 출처와 계보

GAO 프레임워크는 모델 개발에 쓴 데이터에 대해 출처와 기원을 문서화하고(실무 2.1), 신뢰성을 평가하며(2.2), 데이터를 분류하는 속성(2.3)과 모델에 쓴 변수(2.4), 합성·대체·보강 데이터의 사용(2.5)을 평가하라고 합니다. NIST AI RMF는 제3자 데이터나 소프트웨어를 포함한 구성 요소의 법적 위험과 제3자 지식재산권 침해 위험을 매핑하라고 합니다(MAP 4.1).

판매자의 "정확도 99% 보장"이나 "공개 데이터라 누구나 쓴다"는 말은 품질과 적법성의 증거가 아닙니다. 공개 데이터도 라이선스와 이용 조건이 있고, 판매자의 보증은 이해관계가 있는 쪽의 주장입니다.

라벨 품질

지도학습 모델의 성능은 정답 라벨의 품질을 넘지 못합니다. NIST AI RMF는 데이터 수집과 선택(가용성, 대표성, 적합성), 개념의 타당성 같은 과학적 무결성과 TEVV 고려 사항을 식별하고 문서화하라고 합니다(MAP 2.3). 라벨 품질을 점검하는 실무 방법은 다음과 같습니다.

1. 판정자 간 일치율: 같은 표본을 여러 사람이 따로 판정하게 해 얼마나 일치하는지 잽니다. 일치율이 낮으면 기준이 모호하거나 교육이 부족한 것입니다.
2. 기준 문서의 일관성: 여러 지점이나 팀이 라벨을 붙였다면 기준 문서가 같은지 비교합니다.
3. 정답 재검토 표본: 전문가가 라벨 표본을 다시 판정해 오류율을 잽니다.

데이터의 양을 늘리려고 기준이 확인되지 않은 오래된 데이터를 더하는 것은 품질을 떨어뜨릴 수 있습니다.

운영 중 변화와 모니터링

모델은 배포된 날부터 낡기 시작합니다. 입력 데이터의 분포가 바뀌는 데이터 드리프트, 입력과 결과의 관계가 바뀌는 개념 드리프트가 생기기 때문입니다. GAO 프레임워크는 지속적인 모니터링 계획을 세우고(실무 4.1), 허용할 수 있는 데이터·모델 드리프트의 범위를 정하며(4.2), 모니터링 결과와 시정 조치를 문서화하라고 합니다(4.3). NIST AI RMF도 운영 중 시스템의 기능과 행동을 모니터링하고(MEASURE 2.4), 배포 뒤 모니터링 계획에 이용자 의견 수렴, 이의 제기와 번복, 사고 대응, 복구, 변경 관리를 포함하라고 합니다(MANAGE 4.1).

감사인이 모니터링 통제에서 보는 것은 "경보가 있는가"가 아니라 "경보가 울리면 누가 무엇을 하는가"입니다. 경보 기준, 받는 사람, 대응 절차, 대응 기록이 모두 있어야 통제가 목적을 이룹니다. 경보가 열네 번 울렸는데 조치 기록이 한 건도 없다면, 경보 기능은 작동했어도 통제는 작동하지 않은 것입니다.

변경 유형과 재검증 범위

재검증의 범위는 무엇이 바뀌었고 그것이 결과에 얼마나 영향을 주는지에 비례합니다.

벤더가 바꾸는 요소도 같은 표로 봅니다. NIST AI RMF는 개발에 쓰인 사전학습 모델을 정기적인 모니터링과 유지 관리에 포함하라고 합니다(MANAGE 3.2). 벤더의 공개 벤치마크 점수는 여러분 조직의 질문과 데이터에서의 성능을 보여 주지 않습니다.

재검증 절차와 승인 기준

좋은 재검증은 순서가 정해져 있습니다. 바뀐 내용과 영향 범위를 정리하고, 변경 전후 버전을 같은 평가 세트로 비교하고, 그 결과를 미리 정한 승인 기준과 견줘 배포를 승인하거나 반려하고, 배포 뒤 모니터링 기준을 새 버전에 맞게 갱신합니다. NIST AI RMF는 AI 시스템이 의도한 목적과 목표를 이루는지, 개발이나 배포를 계속할지를 판단하라고 합니다(MANAGE 1.1).

승인 기준을 결과를 본 뒤에 정하면 재검증은 형식이 되기 쉽습니다. 감사인은 승인 기준이 결과보다 먼저 문서로 정해졌는지, 기준에 집단별 지표가 들어 있는지, 기준에 못 미친 경우 실제로 반려된 적이 있는지를 확인합니다.

깊이 읽기

공정성의 기준은 하나가 아니다

"이 모델은 공정한가"라는 질문에는 하나의 정답 지표가 없습니다. 집단 사이의 승인율을 맞추는 것, 집단 사이의 오류율을 맞추는 것, 같은 점수에 같은 의미를 주는 것은 서로 다른 공정성 개념이고, 한 가지를 맞추면 다른 것이 어긋날 수 있습니다. NIST도 공정성의 기준은 복잡하고 정의하기 어려우며, 공정성에 대한 인식이 문화와 적용 분야에 따라 다르다고 설명합니다.

그래서 감사인이 공정성의 기준을 스스로 정하는 것은 위험합니다. 기준은 경영진이 법령, 사업의 성격, 영향받는 사람의 의견을 고려해 정하고 문서화해야 하며, 감사인은 그 기준이 있는지, 정할 때 무엇을 고려했는지, 기준대로 측정하고 있는지, 기준을 넘었을 때 무엇을 했는지를 봅니다. 기준이 없다면 그것 자체가 발견 사항이 됩니다. "차이를 3%p 안에 둔다" 같은 숫자 기준이 있다면, 감사인은 그 숫자를 적용하는 데이터와 계산을 검증합니다.

사람과 AI가 함께 낼 때의 성능

많은 AI 시스템은 사람의 판단을 대신하지 않고 돕습니다. 이때 중요한 것은 AI 단독의 성능이 아니라 사람과 AI가 함께 일할 때의 성능입니다. NIST가 정확도 측정에서 사람과 AI의 협업을 고려하라고 한 이유가 여기 있습니다.

함께 일할 때의 성능은 AI 단독보다 좋을 수도, 나쁠 수도 있습니다. 사람이 AI의 오류를 잘 걸러 내면 좋아지고, 자동화 편향으로 AI의 오류를 그대로 따르면 AI 단독과 같거나, 사람이 AI의 맞는 판단을 근거 없이 뒤집으면(NIST AI 600-1이 말하는 알고리즘 기피) 더 나빠집니다. "AI가 사람보다 정확하니 점검 횟수를 줄이자"는 결정 앞에서 감사인은 세 가지 수치를 요구할 수 있습니다. 같은 사례에서의 사람 단독, AI 단독, 그리고 사람과 AI가 함께 낸 결과입니다. 이 세 수치가 있어야 줄이려는 점검이 무엇을 잃게 하는지 판단할 수 있습니다.

실무 장면

산들은행: '정확도 99.8%' 보고서 다시 읽기

'산들은행'의 디지털금융부는 새 송금 사기 탐지 모델이 "정확도 99.8%로 기존 규칙 기반 시스템(99.5%)보다 우수하다"는 보고서를 냈다. 감사팀은 보고서를 증거로 쓰기 전에 원자료를 요청했다.

평가 데이터는 지난 6개월 송금 120만 건이었고, 그중 사기는 960건(0.08%)이었다. 감사팀이 혼동 행렬을 다시 만들자 새 모델은 사기 960건 중 610건을 잡았고(재현율 약 64%), 표시한 2,700건 중 610건이 실제 사기였다(정밀도 약 23%). 기존 규칙 시스템은 같은 기간 사기 480건을 잡았다(재현율 50%). 모든 송금을 정상으로 판정하면 정확도는 99.92%로, 두 시스템 모두 정확도만 보면 다수 클래스 기준선, 즉 "아무것도 안 하는 것"보다 낮았다. 감사팀은 정확도 비교를 보고서에서 빼고, 같은 기간·같은 사례에서 재현율과 정밀도, 그리고 정상 고객의 송금이 막힌 건수를 비교하라고 권고했다. 새 모델은 재현율에서 분명히 나았지만, 막힌 정상 송금도 더 많았다.

감사팀은 평가 설계도 확인했다. 개발팀은 송금 기록을 무작위로 섞어 학습과 평가로 나눴는데, 같은 사기 계좌의 송금이 양쪽에 들어가 있었다. 감사팀은 계좌 단위로 나눠 다시 평가하게 했고, 재현율은 64%에서 57%로 내려갔다. 마지막으로 연령대별로 결과를 나눠 보니 만 70세 이상 고객의 정상 송금이 막힌 비율이 다른 연령대의 두 배였다. 이 집단은 6개월 동안 송금이 1만 건 남짓으로 건수가 충분했다. 은행에는 집단별 차이에 대한 기준이 아직 없었다. 감사팀은 기준 부재를 발견 사항으로 올리고, 고령 고객에 대한 오탐 영향(송금 지연, 콜센터 확인 절차)을 함께 적었다.

하나로택배: 문서 하나, 모델 하나, 임계값 하나

택배사 '하나로택배'는 AI로 배송 불만 문의를 분류하고, 생성형 AI가 답변 초안을 쓰며, 별도의 예측 모델로 분실 위험이 높은 화물을 골라 사전 점검한다. 감사팀은 지난 분기에 있었던 세 가지 변경의 재검증 기록을 확인했다.

첫째, 보상 규정이 바뀌어 답변 초안 AI의 지식 문서 가운데 '분실 보상 안내'만 갱신됐다. 운영팀은 변경 승인서만 냈다. 감사팀은 보상 관련 문의가 전체의 15%라는 점을 들어, 보상 질문에 대해 변경 전후 답변을 비교한 회귀 평가 기록을 요청했다. 기록이 없었으므로 감사팀은 보상 문의 표본으로 직접 확인했고, 새 규정이 반영되지 않은 답변이 섞여 있는 것을 찾았다. 갱신한 문서와 별도로 예전 규정이 담긴 FAQ 문서가 검색 대상에 남아 있었기 때문이다.

둘째, 분류 AI의 기반 모델을 같은 벤더의 새 버전으로 바꿨다. 운영팀은 "벤더 벤치마크 점수가 올랐다"는 자료를 냈다. 감사팀은 기반 모델 교체는 영향 범위가 전면적이라는 점을 들어 회사 문의 데이터로 한 전면 재평가를 요구했다. 운영팀은 교체 전에 문의 유형별 분류 정확도를 비교한 평가를 했지만 승인 기준이 없었고, 평가 결과를 본 뒤 "큰 차이 없음"으로 승인했다. 감사팀은 미리 정한 승인 기준의 부재를 기록했다.

셋째, 분실 위험 모델의 판정 기준 점수를 0.7에서 0.6으로 낮췄다. 점검 대상이 늘어 분실은 줄었지만 현장 점검 인력의 부담이 40% 늘었다. 데이터팀은 전체와 지역 거점별 재현율·정밀도의 전후 비교를 남겼고, 승인 기준(전체 재현율 85% 이상, 어느 거점도 70% 미만으로 내려가지 않을 것, 일일 점검 건수 상한)도 미리 정해 두었다. 감사팀은 이 변경을 재검증 절차의 좋은 사례로 보고서에 적고, 다른 두 변경에도 미리 정한 기준과 구간별 비교를 쓰도록 권고했다.

자주 틀리는 지점

1. "정확도가 높으면 좋은 모델이다." 드문 사건을 찾는 모델은 다수 클래스 기준선과 견줘야 합니다. 재현율과 정밀도가 핵심을 말해 줍니다.
2. "학습에 쓰지 않은 데이터로 평가했으니 문제없다." 같은 고객·계정의 기록이 양쪽에 나뉘어 있으면 사실상 분리되지 않은 것입니다.
3. "출시 때 잰 성능이 지금도 성능이다." 상품 구성이나 고객층이 바뀌었다면 과거 수치는 현재 성능의 증거가 아닙니다.
4. "상담원이 그대로 보낸 비율이 초안의 정확도다." 그대로 보낸 비율은 사람이 AI를 따른 정도일 뿐입니다.
5. "민감 변수를 입력에서 뺐으니 편향은 없다." 다른 변수가 대리 역할을 할 수 있고, 라벨 자체가 치우쳤을 수 있습니다.
6. "건수가 적은 집단의 차이는 무시해도 된다." 우연인지 먼저 판단하되, 기간을 늘려 확인합니다. 작다고 버리지 않습니다.
7. "판매자가 품질을 보장했으니 데이터는 믿어도 된다." 보증은 이해관계가 있는 쪽의 주장입니다. 신뢰성은 독립적으로 확인합니다.
8. "벤더 벤치마크 점수가 올랐으니 재검증은 필요 없다." 벤치마크의 질문과 데이터 분포는 우리 업무와 다르므로, 우리 데이터와 질문에서의 성능을 보여 주지 않습니다.

한눈에 정리

공식 문서로 확인하기

• NIST AI RMF — AI Risks and Trustworthiness: 타당성·신뢰성·정확도·견고성의 정의, 편향의 세 범주.
• NIST AI RMF — Core: MAP 2.3·4.1, MEASURE 2.1·2.3·2.4·2.5·2.11, MANAGE 1.1·3.2·4.1.
• NIST AI 600-1: Confabulation, Harmful Bias or Homogenization, 데이터 출처 정보.
• GAO-21-519SP: Data(2.1–2.8), Performance(3.1–3.9), Monitoring(4.1–4.5) 원칙과 감사 질문.
• PCAOB — AS 2315: 표본 위험과 표본 크기의 관계(.10).

셀프 체크

4-1. 거래 20만 건 중 실제 부정이 200건이고, 모델이 300건을 부정으로 표시해 그중 150건이 실제 부정이었다. 재현율, 정밀도, 다수 클래스 기준선의 정확도를 계산하라.

4-2. NIST가 정의한 타당성 확인과 신뢰성의 차이를 한 문장씩 쓰라.

4-3. 평가 세트에 대해 감사인이 묻는 다섯 가지 질문 가운데, 무작위로 행을 섞어 학습·평가를 나눈 경우에 특히 문제가 되는 것을 고르고 이유를 쓰라.

4-4. NIST가 말하는 편향의 세 범주를 쓰고, "개발팀에 차별할 의도가 없었다"는 설명이 편향 검토를 끝낼 근거가 되지 못하는 이유를 쓰라.

4-5. 과거 담당자의 결정을 정답으로 학습한 모델에서 "과거 결정과의 일치율 95%"가 공정성의 증거가 되지 못하는 이유를 쓰라.

4-6. 판정 기준 점수 조정, 지식 문서 일부 갱신, 기반 모델 교체에 대해 각각 알맞은 재검증 범위를 쓰라.

4-7. (설계) 생성형 AI가 공공 지원금 신청 자격을 안내하는 서비스의 품질 측정 계획을 설계하라. 평가 질문 세트의 구성, 채점 기준, 따로 잴 질문 유형, 운영 중 모니터링 지표를 포함하라.

실습 과제