5장. 공정성 점검과 거버넌스

학습 목표

• 선발률과 선발률 비를 계산하고, 4/5 경험칙이 말하는 것과 말하지 않는 것을 구분한다.
• 표본 크기와 통계적 유의성을 고려해 집단 간 결과 차이를 해석하고, 단계별 분석으로 차이가 생기는 위치를 찾는다.
• 점검 결과에 맞는 조치를 고르고, 집단별 기준 점수 같은 잘못된 조치를 가려낸다.
• 정기 점검과 변경 시 점검의 주기와 계기를 정하고, 벤더에게 요구할 검증 자료를 고른다.
• NIST AI RMF의 네 기능으로 채용 AI의 책임 체계와 운영 규칙을 설계한다.

들어가며

어느 회사의 분기 보고서에 이런 줄이 있다고 합시다. "AI 서류 평가 정확도 92%, 목표 달성." 같은 분기에 여성 지원자의 통과율은 남성의 절반이었고, 아무도 그 숫자를 계산하지 않았습니다. 또 다른 회사는 장애인 지원자 아홉 명 가운데 한 명만 통과한 결과를 보고 "도구에 편향이 있다"며 바로 폐기하자고 합니다. 앞의 회사는 보지 않았고, 뒤의 회사는 너무 적은 숫자로 너무 큰 결론을 내렸습니다.

공정성 점검은 계산보다 해석이 어렵습니다. 어떤 집단을 비교할지, 어느 단계를 볼지, 표본이 충분한지, 차이가 우연인지, 차이의 원인이 무엇인지, 그리고 무엇을 해야 하는지. 그리고 이 질문에 답할 사람과 절차가 정해져 있지 않으면 점검 결과는 보고서에만 남습니다.

이 장은 숫자에서 시작해 조직으로 끝납니다. 먼저 선발률과 4/5 경험칙, 표본과 유의성, 단계별 분석을 배웁니다. 이어서 점검 결과를 조치로 바꾸는 법, 점검 주기와 벤더 검증 자료를 다룹니다. 마지막으로 NIST AI RMF의 네 기능에 맞춰 누가 무엇을 책임지는지 정하고 운영 규칙을 씁니다.

핵심 개념

공정성은 무엇을 재는가

NIST AI RMF는 신뢰할 수 있는 AI의 특성으로 일곱 가지를 듭니다. 타당하고 신뢰할 수 있을 것(Valid and Reliable), 안전할 것, 보안과 회복력을 갖출 것, 책임성과 투명성을 갖출 것, 설명 가능하고 해석 가능할 것, 개인정보 보호를 강화할 것, 그리고 해로운 편향이 관리되어 공정할 것(Fair – with Harmful Bias Managed). NIST는 이 특성들 사이에 대개 트레이드오프가 있어 모든 특성이 모든 상황에 똑같이 적용되는 경우는 드물다고 말합니다.

공정성에 대해 NIST가 강조하는 점은 둘입니다. 하나는 편향이 데이터와 알고리즘만이 아니라 체계적(systemic), 계산·통계적(computational and statistical), 인간 인지적(human-cognitive) 범주에서 생긴다는 것입니다. 다른 하나는 해로운 편향을 줄인 시스템이 반드시 공정한 것은 아니라는 것입니다. 숫자 하나가 기준을 넘었다고 공정성이 확인된 것은 아니며, 점검은 판단의 재료를 만드는 일입니다.

채용 AI에서 가장 기본적인 공정성 점검은 결과의 차이를 보는 것입니다. 집단별로 다음 단계에 오르는 비율이 얼마나 다른가. 그 차이가 직무와 관련 있는 이유로 설명되는가. 이 장은 이 질문을 중심으로 진행합니다.

선발률과 선발률 비

선발률은 한 집단의 지원자 가운데 다음 단계로 통과한 사람의 비율입니다. 선발률 비는 비교 집단의 선발률을 선발률이 가장 높은 집단의 선발률로 나눈 값입니다.

이 예에서 B 집단의 선발률 비는 22 ÷ 30 ≈ 0.73입니다. 계산은 간단하지만, 무엇을 집단으로 볼지(성별, 연령대, 장애 여부), 어느 단계의 통과를 볼지(서류, 인적성, 면접, 최종)를 먼저 정해야 합니다.

4/5 경험칙: 말하는 것과 말하지 않는 것

미국 연방 기관의 「선발 절차 통일 지침」(29 CFR 1607.4(D))은 인종·성별·민족 집단의 선발률이 가장 높은 집단 선발률의 4/5(80%) 미만이면 연방 집행 기관이 대체로 불리한 영향의 증거로 보고, 4/5를 넘으면 대체로 증거로 보지 않는다는 경험칙을 둡니다. 이 책은 이것을 한국 기업에 적용되는 법이 아니라, 결과 차이를 읽는 출발점으로 소개합니다.

같은 조항은 이 경험칙의 한계도 분명히 적습니다.

한국 법에서 같은 질문은 간접 차별 조문으로 이어집니다. 남녀고용평등법 제2조제1호는 같은 조건을 적용해도 그 조건을 충족할 수 있는 한 성이 다른 성보다 현저히 적어 특정 성에 불리한 결과가 생기고, 그 조건이 정당함을 증명하지 못하면 차별로 봅니다. 고령자고용법 제4조의4제2항도 합리적인 이유 없이 연령 외 기준을 적용해 특정 연령집단에 특히 불리한 결과를 낳으면 연령차별로 봅니다. 그래서 4/5 경험칙은 "문제가 있는가"를 찾는 신호로 쓰고, "문제가 아니다"를 증명하는 도구로 쓰지 않습니다.

표본 크기와 통계적 유의성

통계적 유의성은 관찰한 차이가 우연만으로 생기기 어려운 정도를 뜻합니다. 직관적으로 이해해 봅시다. 동전을 열 번 던져 앞면이 일곱 번 나와도 동전이 기울었다고 단정하기 어렵습니다. 그러나 만 번 던져 칠천 번이 나오면 우연이라고 보기 어렵습니다.

실무에서는 두 집단의 통과율 차이를 카이제곱 검정으로 확인하고, 교차표의 기대 빈도가 5 미만인 칸이 생길 만큼 인원이 적으면 피셔의 정확 검정을 씁니다. 방법을 정하기 어렵다면 통계 담당자와 함께 점검 계획에 미리 적어 둡니다. 작은 표본에서 결론을 미루는 동안 지원자의 피해를 줄이는 장치가 필요합니다. 예를 들어 해당 집단의 탈락 건을 사람이 다시 검토하는 것입니다. "표본이 작으니 아무것도 하지 않는다"와 "표본이 작으니 판단을 미루되 피해는 막는다"는 다릅니다.

단계별 분석

최종 합격률만 보면 차이가 어디서 생겼는지 알 수 없습니다. 채용은 여러 단계를 거치므로, 단계마다 집단별 통과율을 따로 계산해야 AI 서류 평가가 원인인지, 사람이 하는 면접이 원인인지 가릴 수 있습니다.

각 단계의 통과율은 그 단계에 응시한 인원 대비 통과한 인원의 비율입니다.

이 예라면 AI 서류 평가보다 면접 단계를 먼저 살펴야 합니다. 공정성 점검은 AI만 보는 일이 아니라 채용 과정 전체를 보는 일입니다.

오류의 집단별 차이

통과율 외에 오류의 차이도 봅니다. AI가 실제로는 직무 요건을 갖춘 지원자를 낮게 평가하는 오류(놓침)가 특정 집단에 몰리는지 확인합니다. 사람이 다시 검토한 표본에서 집단마다 "요건을 갖췄다고 사람이 판단한 지원자" 가운데 AI가 탈락시킨 비율을 계산합니다. 집단 크기가 다르므로 건수가 아니라 비율로 비교해야 합니다. 여러 공정성 기준(통과율의 균형, 오류율의 균형 등)은 동시에 만족하기 어려운 경우가 많으므로, 어떤 기준을 우선할지와 그 이유를 문서로 정해 두어야 합니다. NIST가 말하는 특성 간 트레이드오프가 여기서 구체적인 모습으로 나타납니다. 특히 두 집단의 실제 적격자 비율(기저율)이 다르면 통과율의 균형과 오류율의 균형을 함께 맞추기는 일반적으로 불가능하다고 알려져 있으므로, 이 선택은 미리 정해 두어야 합니다.

점검 결과를 조치로 바꾸기

점검 결과마다 원인이 다르므로 조치도 달라야 합니다.

점검 숫자를 맞추려고 집단마다 다른 합격 기준 점수를 두는 것은 맞는 조치가 아닙니다. 원인은 그대로 둔 채 집단을 이유로 다르게 대우하는 것이기 때문입니다. 차이를 만든 항목이나 단계를 찾아 고치는 것이 원칙입니다. 적극적 고용개선조치나 법이 정한 지원조치처럼 법적 근거와 목적이 정해진 우대 제도는 이와 다른 문제이므로, 그런 제도를 운영한다면 그 근거를 따로 확인합니다.

점검 주기와 계기

공정성 점검 결과는 점검한 그 시스템에 대해서만 유효합니다. 그래서 주기와 계기를 함께 정합니다.

1. 정기 점검: 분기나 반기마다 같은 방식으로. 결과를 문서로 남겨 추세를 비교한다.
2. 변경 시 점검: 모델 버전, 입력 항목, 기준 점수, 가중치가 바뀔 때마다 정기 점검과 별도로 같은 방식으로.
3. 이상 신호 점검: 통과율 급변, 이의 제기 증가, 검토자 보고가 있을 때 즉시.

특히 외부 활동 기록처럼 새로 넣는 입력 항목은 특정 집단이 참여하기 어려운 항목이 아닌지 변경 전 점검에서 확인합니다. NIST AI RMF MANAGE 3.1은 제3자 자원의 위험과 효과를 정기적으로 점검하고 통제를 적용하게 하므로, 벤더의 모델 업데이트는 그 자체로 점검의 계기입니다.

점검에 쓸 집단 정보

집단별 결과를 계산하려면 집단 정보가 필요합니다. 그러나 점검을 위해 정보를 모으는 것도 개인정보 처리입니다. 장애 여부처럼 건강 관련 정보는 민감정보가 될 수 있습니다(개인정보 보호법 제23조). 공정성 점검 목적만으로 필수화하지 말고, 법령상 근거가 없다면 다른 처리와 구분한 별도 동의를 받으며 거절해도 불이익이 없게 합니다. 원칙은 다음과 같습니다. 이미 확보한 정보로 계산할 수 있는 것은 새로 받지 않는다. 새로 받아야 하면 점검 목적을 밝히고 자발적으로 받으며, 받지 않아도 불이익이 없게 한다. 점검용 정보는 평가 시스템과 분리해 보관하고 평가자가 볼 수 없게 한다.

벤더 검증 자료 요구

벤더의 AI를 쓰더라도 위험 관리의 책임은 쓰는 회사에도 있습니다. NIST AI RMF GOVERN 6.1은 제3자와 관련된 AI 위험을 다루는 정책과 절차를 갖추게 합니다. 계약과 갱신 때 요구할 자료는 다음과 같습니다.

"전체 정확도" 한 줄, 고객 만족도, 수상 내역은 이 질문에 답하지 못합니다. "벤더가 모든 책임을 진다"는 확약서도 회사의 점검 책임을 없애지 못합니다. 고영향 인공지능을 이용한 제품·서비스를 제공하는 사업자는 기본권 영향평가를 하도록 노력해야 하고(인공지능기본법 제35조), 국가기관등은 영향평가를 실시한 제품을 우선 고려해야 하므로, 벤더에게 영향평가 여부와 결과 요약도 물어 두세요.

NIST AI RMF의 네 기능

자율적으로 쓰는 프레임워크인 NIST AI RMF의 Core는 AI 위험 관리를 네 기능으로 나눕니다. GOVERN은 위험 관리 문화와 책임을 세우는 기능으로, 다른 세 기능 전체에 걸쳐 있습니다. MAP은 AI 시스템의 맥락을 파악해 위험을 정리합니다. MEASURE는 정량·정성 방법으로 위험을 분석하고 평가합니다. MANAGE는 파악하고 측정한 위험에 자원을 배분해 대응합니다. NIST는 기능을 어떤 순서로든 수행할 수 있다고 하면서도, 대부분의 사용자가 GOVERN을 바탕으로 MAP에서 시작해 MEASURE와 MANAGE로 이어 간다고 설명합니다.

책임 체계와 운영 규칙

NIST AI RMF GOVERN 2.1은 AI 위험의 파악·측정·관리에 관한 역할과 책임, 소통 경로를 문서로 정하게 하고, GOVERN 2.3은 조직의 경영진이 AI 위험에 관한 결정에 책임을 지게 합니다. 채용 AI의 운영 규칙에는 최소한 다음이 들어가야 합니다.

1. 운영 책임자: 도구별로 한 명. 벤더 연락 창구와 다르다.
2. 변경 통제: 기준선, 가중치, 입력 항목, 모델 버전을 누가 바꿀 수 있고 누가 승인하는가. 변경 기록을 남긴다(역할은 GOVERN 2.1, 변경 관리는 MANAGE 4.1).
3. 중단 권한과 기준: 어떤 신호가 나오면 누가 사용을 멈추고 사람 심사로 바꾸는가(MANAGE 2.4).
4. 점검 일정: 정기 점검, 변경 시 점검, 이상 신호 점검의 주기와 담당자, 보고선(GOVERN 1.5).
5. 이의 경로: 지원자가 결과에 문제를 제기하는 경로와 처리 기한, 그 내용을 점검에 반영하는 절차(MEASURE 3.3, GOVERN 5.1). 자동화된 결정이라면 2장의 거부·설명·검토 요구 절차와 30일 기한을 이 경로에 맞춰 둔다.
6. 기록과 보존: 점검 결과, 결정 기록, 변경 기록의 보존 기간과 접근 권한.

채용 AI 제도를 새로 만들거나 크게 바꾸는 일은 노사협의회의 협의 사항과 관련될 수 있으므로(근로자참여법 제20조제1항제2호·제5호·제9호), 운영 규칙에 협의 시점도 적어 둡니다.

사고 대응

통과율 급변처럼 실제 지원자에게 피해가 진행 중인 신호가 나오면 순서는 분명합니다. 먼저 멈추고(사람 심사나 이전 버전으로 전환), 영향받은 지원자를 다시 심사하고, 원인을 조사하고, 재발 방지책을 세웁니다. NIST AI RMF MANAGE 4.3은 사고와 오류를 영향받는 사람들을 포함한 관련 주체에게 알리게 합니다. 반대로 같은 문제가 실제 지원자에게 쓰기 전 시험 단계에서 발견됐다면, 멈출 운영도 재심사할 지원자도 없으므로 원인 분석과 수정, 같은 기준의 재검증이 핵심입니다. 그리고 설정 변경이 결과에 반영되기 전에 발견되고 되돌려졌다면, 핵심은 재심사가 아니라 변경 통제의 공백을 메우는 일입니다.

깊이 읽기

집단별 기준 점수가 해법이 아닌 이유

결과 차이를 가장 빨리 없애는 방법은 집단마다 합격선을 다르게 두는 것입니다. 그러나 이것은 두 가지 이유로 해법이 아닙니다. 첫째, 차이를 만든 원인(대리 변수, 검증되지 않은 지표, 편향된 면접)은 그대로 남습니다. 숫자만 맞춰 놓으면 다음 채용에서 같은 문제가 반복되고, 원인을 찾을 동기도 사라집니다. 둘째, 성별이나 연령을 이유로 다른 기준을 적용하는 것은 그 자체로 그 특성을 이유로 다르게 대우하는 것입니다. 남녀고용평등법의 적극적 고용개선조치처럼 법이 정한 예외는 목적과 성격이 정해져 있으므로, 점검 숫자를 맞추기 위한 기준 조정과 같은 것으로 볼 수 없습니다. 원칙은 늘 원인을 찾아 고치는 것입니다.

공정성 지표가 좋아도 끝이 아니다

집단별 통과율이 비슷해도 도구가 직무와 무관한 것을 재고 있다면 모든 집단에 똑같이 나쁜 도구입니다. 공정성은 타당성 위에 서 있습니다. 점수가 직무 성과와 관련 있다는 근거(MEASURE 2.5)가 먼저이고, 그 위에서 집단별 결과(MEASURE 2.11)를 봅니다. 타당성 근거는 두 갈래로 쌓습니다. 요건이 직무 분석에서 나온 업무와 대응한다는 근거(내용 타당도), 그리고 점수가 실제 성과와 관련 있다는 근거(준거 타당도)입니다. 반대로 타당성이 확인된 요건이 특정 집단에 불리한 결과를 낸다면, 그 요건의 정당성을 문서로 남기고, 같은 목적을 덜 배제적으로 이룰 방법이 있는지 검토하며, 결과를 계속 점검해야 합니다. 이 두 질문을 분리하지 않으면 "공정하니 좋은 도구"나 "타당하니 공정한 도구"라는 같은 종류의 착각에 빠집니다.

거버넌스는 한 번의 승인이 아니다

많은 조직이 AI 도입 승인 회의를 거버넌스로 여깁니다. NIST AI RMF는 GOVERN을 AI 시스템의 수명 전체에 걸쳐 계속 필요한 기능이자 다른 기능에 녹아 있어야 하는 기능으로 봅니다. 채용 AI는 특히 그렇습니다. 지원자 구성은 해마다 바뀌고, 벤더는 모델을 바꾸고, 직무 요건도 변합니다. 도입 때의 검증 결과는 시간이 지나면서 조용히 낡습니다. 그래서 거버넌스의 핵심은 승인 문서가 아니라 목록(무엇을 쓰고 있는가), 책임자(누가 보고 있는가), 계기(언제 다시 보는가), 그리고 멈출 권한(누가 멈출 수 있는가)입니다.

실무 장면

여름산업의 점검 회의

산업용 소재 기업 '여름산업'은 분기 점검에서 장애인 지원자 아홉 명 가운데 한 명만 AI 서류 평가를 통과한 결과를 받았습니다. 비장애 지원자의 통과율은 35%였습니다. 회의에서 의견이 갈렸습니다. 한쪽은 "선발률 비가 약 0.32이니 도구를 당장 폐기하자"고 했고, 다른 쪽은 "아홉 명은 너무 적어 의미가 없으니 넘어가자"고 했습니다.

점검 담당자는 두 의견을 모두 받아들이지 않았습니다. 아홉 명으로는 비율이 크게 흔들리므로 결론을 내리기 어렵다는 점은 인정했습니다. 그러나 넘어가는 대신 세 가지를 제안했습니다. 이번 주 안에 지난 네 분기 자료를 묶어 다시 계산하고 통계적 유의성을 확인한다. 분석이 끝나 조치가 정해질 때까지 진행 중인 전형의 장애인 지원자 서류 탈락 건은 사람이 다시 검토한다. 그리고 장애인 지원자의 지원서에 공통으로 나타나는 특징(예: 경력 공백, 특정 형식의 자기소개)이 점수에 어떻게 작용하는지 항목별로 살펴본다. 온라인 검사와 면접에서 편의 신청 창구가 제대로 안내되었는지도 함께 확인했습니다.

네 분기를 묶자 장애인 지원자는 41명 가운데 5명(12%), 비장애 지원자는 3,600명 가운데 1,260명(35%)이 통과해 선발률 비는 약 0.35였고, 장애인 통과자가 5명뿐이라 기대 빈도가 낮은 칸이 있어 피셔의 정확 검정을 썼고, 그 결과도 우연으로 보기 어려운 차이였습니다. 항목 분석에서 "최근 2년 연속 근무 기간" 변수가 크게 작용하고 있었고, 이 변수의 직무 관련성은 검증된 적이 없었습니다. 회사는 이 변수를 검증 전까지 탈락 판단에서 빼고, 변경 후 결과를 같은 방식으로 다시 측정하기로 했습니다. 버린 선택지는 "장애인 지원자에게만 합격선을 낮추자"였습니다. 원인인 변수를 그대로 두는 방식이었기 때문입니다.

두레박건설의 운영 규칙 만들기

건설 기업 '두레박건설'은 채용에 AI 도구 세 가지(서류 평가, 인적성 채점, 면접 요약)를 쓰고 있었지만, 도입한 부서가 제각각 관리했습니다. 어느 날 서류 평가 도구의 자동 탈락 기준선이 바뀐 것을 누구도 설명하지 못하는 일이 생겼습니다. 담당자 한 명이 일정에 쫓겨 혼자 바꾼 것이었고, 다행히 바뀐 기준이 어떤 지원자 평가에도 적용되기 전에 발견되었습니다.

인사팀은 이 일을 계기로 운영 규칙을 만들었습니다. 첫째, 채용 AI 목록을 만들어 세 도구의 목적, 벤더, 버전, 책임자, 다음 점검일을 한 표에 정리했습니다(GOVERN 1.6). 둘째, 도구별 운영 책임자를 지정하고, 기준선·가중치·입력 항목·모델 버전 변경은 운영 책임자의 요청과 인사 담당 임원의 승인을 거치고 변경 기록을 남기게 했습니다(GOVERN 2.1, MANAGE 4.1). 셋째, 통과율이 직전 분기 대비 정해진 폭 이상 바뀌면 운영 책임자가 즉시 사람 심사로 전환할 수 있게 했습니다(MANAGE 2.4). 넷째, 벤더와의 갱신 계약에 모델 변경 사전 통지와 이전 버전 유지 조건을 넣었습니다(GOVERN 6.1, MANAGE 3.1). 다섯째, 지원자 이의 경로와 처리 기한을 채용 안내에 공개하고, 이의 내용을 분기 점검 안건에 올리게 했습니다(MEASURE 3.3).

이 과정에서 "이번 일은 피해가 없었으니 해당 담당자 교육으로 끝내자"는 의견이 있었습니다. 그러나 원인은 개인이 아니라 누가 바꿀 수 있는지 정하지 않은 구조였기 때문에, 교육만으로는 다른 담당자가 같은 일을 반복할 수 있다고 보고 규칙을 만드는 쪽을 택했습니다.

자주 틀리는 지점

• "전체 정확도가 목표를 넘었으니 공정하다." 전체 정확도는 집단별 결과를 보여 주지 않습니다.
• "4/5를 넘었으니 문제없다." 큰 표본에서 통계적·실무적으로 의미 있는 작은 차이도 불리한 영향일 수 있습니다.
• "4/5에 못 미치니 도구를 폐기한다." 표본이 작으면 결론을 미루고 자료를 묶어 다시 보며, 그동안 피해를 막는 장치를 둡니다.
• "최종 합격률만 보면 된다." 단계별로 나눠야 원인이 AI인지 사람인지 가릴 수 있습니다.
• "집단별로 합격선을 다르게 두면 해결된다." 점검 숫자를 맞추려는 기준 조정은 원인을 그대로 두고 집단을 이유로 다르게 대우하는 것입니다. 법이 정한 우대 제도와는 구분합니다.
• "점검용이니 장애 여부를 필수로 받는다." 점검 목적만으로 민감정보를 필수화하지 않습니다. 근거가 없다면 별도 동의로 받고 분리 보관합니다.
• "벤더 모델이니 벤더가 위험을 관리한다." 제3자 AI도 쓰는 회사의 위험 관리 대상입니다.
• "거버넌스는 도입 승인 회의다." 목록, 책임자, 점검 계기, 중단 권한이 수명 전체에 걸쳐 작동해야 합니다.

한눈에 정리

공식 문서로 확인하기

• NIST AI RMF — Characteristics of trustworthy AI — 일곱 특성과 트레이드오프, 편향의 세 범주를 읽습니다.
• NIST AI RMF — Core — GOVERN 1.6·2.1·2.3·6.1, MEASURE 2.11·3.3, MANAGE 2.4·3.1·4.3을 찾아 읽습니다.
• 29 CFR 1607.4 — Information on impact — (D)항의 4/5 경험칙과 그 한계를 원문으로 읽습니다.
• 남녀고용평등법 제2조 — 간접 차별과 적극적 고용개선조치의 정의를 확인합니다.
• 고령자고용법 제4조의4 — 연령 외 기준에 의한 연령차별 간주 규정을 확인합니다.
• 인공지능기본법 제33조·제34조 — 벤더에게 확인할 고영향 해당 여부 검토와 사업자 책무를 읽습니다.

셀프 체크

5-1. NIST AI RMF가 말하는 편향의 세 범주를 쓰고, "해로운 편향을 줄인 시스템이 반드시 공정한 것은 아니다"라는 말이 점검 실무에 주는 시사점을 한 문장으로 쓰라.

5-2. 지원자 1,500명 중 450명이 통과한 집단과 지원자 600명 중 120명이 통과한 집단이 있다. 선발률 비를 계산하고 4/5 경험칙에 비추어 해석하라.

5-3. 29 CFR 1607.4(D)가 4/5 경험칙의 예외로 드는 두 방향(더 작은 차이, 더 큰 차이)을 각각 설명하라.

5-4. 최종 합격률만 집단별로 계산해 온 조직에 단계별 분석이 필요한 이유를 쓰고, 단계별 분석으로 원인이 사람 평가 단계로 좁혀졌을 때 고를 수 있는 조치 두 가지를 쓰라.

5-5. 집단마다 합격선을 다르게 두는 조치가 해법이 아닌 이유 두 가지를 쓰라.

5-6. 공정성 점검의 세 가지 계기를 쓰고, 벤더의 모델 업데이트가 어느 계기에 해당하는지와 그때 벤더에게 요구할 자료를 쓰라.

5-7. (설계) 채용 AI 도구 하나에 대해 운영 규칙의 여섯 요소(책임자, 변경 통제, 중단 권한, 점검 일정, 이의 경로, 기록 보존)를 한 장으로 설계하고, 각 요소를 NIST AI RMF의 하위 범주 하나와 연결하라.

실습 과제