5장. 운영과 개선

학습 목표

• 업무 위험에 맞춰 검수 체크리스트를 만들고, 오류 심각도에 따라 전수 검수와 표본 검수를 고른다.
• 품질·효율·채택·한계 네 가지 운영 지표를 정의하고, 지표마다 분모와 수집 방법을 정한다.
• 실패 사례를 발생 단계별로 분류하고, 재현과 회귀 시험을 거쳐 지침과 자료를 고친다.
• 지침·자료·연결·모델·제품의 변화를 하나의 변경 관리 절차로 다룬다.
• 기준선과 총운영비로 도입 효과를 측정하고, 수작업 전환과 운영 종료 계획을 세운다.

들어가며

어느 팀이 고객 답장 초안 도우미를 도입하고 석 달이 지났습니다. 팀장은 분기 보고서에 “월 사용 횟수 세 배 증가”라고 썼습니다. 그런데 같은 기간 상담원들의 퇴근 시간은 그대로였습니다. 들여다보니 상담원들은 도우미가 쓴 초안을 거의 다시 쓰고 있었고, 사용 횟수가 늘어난 것은 마음에 드는 초안이 나올 때까지 여러 번 다시 생성했기 때문이었습니다. 숫자는 좋아 보였지만 일은 줄지 않았습니다. 더 나쁜 일도 있었습니다. 두 달 전 바뀐 무료 배송 기준이 도우미의 자료에 반영되지 않았는데, 상담원들이 초안을 어차피 다시 쓰고 있었기 때문에 아무도 그 사실을 알아채지 못했습니다. 재지 않는 것은 고칠 수 없고, 잘못 재는 것은 엉뚱한 곳을 고치게 만듭니다.

자동화는 배포한 날부터 시작입니다. 자료는 낡고, 업무는 바뀌고, 제품도 바뀝니다. 이 장은 결과를 어떻게 검수할지, 무엇을 재야 실제 상태가 보이는지, 실패를 어떻게 개선으로 바꿀지, 바꿀 때 무엇을 지킬지, 그리고 효과를 어떻게 증명할지를 다룹니다. 마지막으로 자동화가 멈추거나 목적을 잃었을 때 업무를 이어 가는 방법도 다룹니다. 1장의 설계서에 적은 성공 기준과 2장의 시험 질문 세트가 이 장에서 다시 쓰입니다.

핵심 개념

검수 체크리스트: 위험에 따라 고르는 항목

사람이 결과를 확인할 때 무엇을 볼지 정해 두지 않으면 검수는 ‘대충 훑어보기’가 됩니다. 그렇다고 모든 업무에 같은 긴 목록을 쓰면 정작 중요한 항목이 묻힙니다. 체크리스트는 업무의 위험에 맞춰 범주를 골라 만듭니다.

1장의 단계표에 적은 완료 조건이 체크리스트의 출발점입니다. 그리고 체크리스트는 고정된 문서가 아닙니다. 검수자가 반복해서 고치는 부분이 생기면 그것이 다음 항목이자 다음 개선 대상입니다.

오류 심각도와 전수·표본 검수

모든 오류가 같은 무게는 아닙니다. 쉼표 하나 틀린 것과 엉뚱한 고객에게 메일이 나간 것을 같은 점수로 세면 지표가 실제 위험을 보여 주지 못합니다. 오류를 등급으로 나눕니다.

등급에 따라 검수 방식도 다르게 둡니다. 중대 오류가 날 수 있는 단계는 전수 검수(모든 건 확인)를 유지합니다. 경미한 오류만 날 수 있는 단계는 표본 검수(일부만 무작위로 골라 확인)로 돌려 사람의 시간을 아낍니다. 표본 검수에서 중요 이상 오류가 기준보다 많이 나오면 전수 검수로 되돌립니다. 이 전환 조건을 미리 정해 두어야 합니다.

검수자 사이의 판단 맞추기

검수자가 둘 이상이면 같은 결과를 두고 판정이 엇갈립니다. 한 사람은 ‘수정 필요’, 다른 사람은 ‘합격’이라고 하면 품질 지표가 검수자에 따라 크게 달라집니다. 판단을 맞추는 절차는 이렇습니다.

1. 같은 결과물 10~20건을 검수자들이 서로 보지 않고 각자 판정합니다.
2. 판정이 엇갈린 건을 모아 이유를 이야기합니다.
3. 합의한 기준을 ‘합격·수정·보류’의 짧은 예시와 함께 체크리스트에 적습니다.
4. 분기마다, 그리고 검수자가 바뀔 때마다 이 과정을 반복합니다.

판정이 계속 엇갈리는 항목은 기준이 모호하다는 신호입니다. 그 항목은 더 구체적으로 쪼개거나, 판단이 아니라 확인할 수 있는 사실로 바꿉니다.

네 가지 운영 지표

한 지표만 보면 판단을 그르칩니다. 사용자가 늘어도 품질이 떨어지면 문제이고, 품질이 좋아도 아무도 쓰지 않으면 효과가 없습니다. 한계 지표가 갑자기 0에 가까워지는 것도 좋은 신호만은 아닙니다. 넘겨야 할 일을 넘기지 않고 있을 수 있습니다. 제품이 지표를 제공하기도 합니다. Gemini Notebook은 노트북을 4명 이상과 공유하고 최근 7일 안에 대화가 있으면 일별 사용자 수와 질문 수를 보여 줍니다. 이런 지표는 채택을 보여 줄 뿐 품질을 말해 주지 않습니다.

지표의 정의와 분모

같은 ‘승인율’도 팀마다 다르게 계산하면 비교할 수 없습니다. 지표마다 정의서를 씁니다.

[지표 정의서]
지표명: 수정 없이 승인된 비율
계산식: (수정 없이 승인된 초안 수) ÷ (사람이 검토를 마친 초안 수) × 100
포함: 기간 안에 검토가 끝난 초안
제외: 검토 대기 중인 초안, 시험용으로 만든 초안
부분 수정: 사실·조건·약속을 고치면 '수정', 오탈자·띄어쓰기만 고치면 '표기 수정'으로 따로 센다
수집 방법: 승인 화면 기록을 주 1회 내려받음
책임자: 운영 담당

분모가 핵심입니다. 같은 기간에 초안 100건을 만들고 그중 60건만 검토했는데 45건이 수정 없이 승인되었다면, 분모를 생성 건수로 하면 45%, 검토 건수로 하면 75%입니다. 검토되지 않은 40건은 품질을 알 수 없는 건이므로, 품질 지표는 검토 건수를 분모로 하고 검토율을 따로 보고합니다. 부분 성공(일부만 맞은 결과)과 보류를 어떻게 셀지도 미리 정해야 합니다.

채점 방법 고르기

결과를 평가하는 방법은 크게 셋입니다. Anthropic은 평가 방법을 고를 때 가장 빠르고 믿을 만하며 규모를 키울 수 있는 방법을 고르라고 권합니다.

AI에게 채점을 맡길 때는 구체적인 채점 기준표(루브릭)를 주고, ‘맞음/틀림’이나 1~5점처럼 정해진 답을 내게 하며, 사람 채점 결과와 비교해 믿을 만한지 먼저 확인합니다. 하나의 업무에도 기준이 여러 개면 기준마다 다른 채점 방법을 씁니다. 또 평가 문항은 실제 업무의 분포를 닮아야 하고 예외 사례를 빠뜨리지 말아야 합니다.

실패를 발생 단계별로 분류하기

실패를 발견하면 곧바로 지침을 고치고 싶어지지만, 모든 실패가 지침 문제는 아닙니다. 실패가 어느 단계에서 났는지부터 가립니다.

모델 교체는 이 표의 어느 칸에도 첫 처방으로 들어가지 않습니다. 자료가 낡았는데 모델을 바꾸면 새 모델도 같은 낡은 자료로 답합니다. 대화 기록을 지운다고 어시스턴트가 오류를 ‘잊는’ 것도 아닙니다. 어시스턴트의 동작은 지침, 자료, 연결이 정합니다. OpenAI도 도구를 더 붙이기 전에 지침을 다듬고 예시를 더하는 것이 문제를 더 빨리 고치는 경우가 많다고 설명합니다.

실패 한 건을 개선 실험으로

눈에 띈 실패 한 건만 임시로 고치면 비슷한 실패가 다른 모양으로 다시 나타납니다. 실패를 개선 실험으로 바꾸는 절차는 이렇습니다.

1. 재현합니다. 같은 입력으로 같은 실패가 나는지 확인하고, 당시의 지침·자료·설정 상태를 기록합니다.
2. 가설을 세웁니다. 발생 단계 표로 원인을 하나 고릅니다.
3. 하나만 바꿉니다. 여러 곳을 한꺼번에 바꾸면 무엇이 효과였는지 알 수 없습니다.
4. 회귀 시험을 합니다. 실패 사례와 기존 시험 질문 세트를 함께 돌려, 고친 것이 예전에 잘 되던 답을 망가뜨리지 않았는지 확인합니다. 소프트웨어 시험에서는 이렇게 잘 되던 것이 다시 틀리는 현상을 회귀라고 부릅니다.
5. 실패 사례를 시험 세트에 더합니다. 다음 변경 때도 이 사례로 확인합니다.

변경 관리

자동화의 결과를 바꾸는 것은 지침만이 아닙니다. 다섯 가지가 바뀝니다.

변경은 같은 절차로 다룹니다.

1. 변경 대상과 이유를 적고, 영향받는 사용자와 업무를 파악합니다.
2. 고정된 시험 세트로 변경 전후를 비교합니다.
3. 일부 사용자에게 먼저 적용해 지표를 봅니다(단계적 적용).
4. 전체에 적용하고, 이전 상태로 돌아갈 수 있게 보관합니다.
5. 무엇이 왜 바뀌었는지 사용자에게 짧게 알립니다.

OpenAI는 GPT 편집 화면에서 버전 기록을 보고 이전 버전을 복원할 수 있다고 안내합니다. 제품에 버전 기능이 없다면 지침 원문을 날짜별 문서로 따로 보관하세요. 우리가 바꾸지 않은 변화(모델, 제품, 연결 제공자)는 공지를 확인하고 시험 세트를 다시 돌리는 것으로 대응합니다.

도입 효과 측정

도입 효과는 기준선과 비교해야 증명됩니다. 기준선은 도입 전에 같은 방식으로 잰 값입니다. 그리고 비용에는 구독료나 사용량 요금뿐 아니라 사람의 시간이 모두 들어가야 합니다.

순절감(월) = (도입 전 건당 시간 − 도입 후 건당 전체 시간) × 월 처리 건수
            − 월 유지 시간(자료 갱신, 지침 수정, 시험 세트 관리, 교육)
도입 후 건당 전체 시간 = 생성·입력 시간 + 검토·수정 시간 + 재작업 시간

예를 들어 도입 전 건당 15분, 도입 후 생성 2분과 검토·수정 6분, 월 300건, 월 유지 8시간이라면 순절감은 (15−8)×300 = 2,100분(35시간)에서 8시간을 뺀 27시간입니다. 여기에 도구 비용을 함께 보고합니다. 품질이 같은 수준인지도 확인해야 합니다. 시간이 줄었는데 오류가 늘었다면 절감이 아니라 비용을 다른 곳으로 옮긴 것입니다.

사용자 도입과 지원 체계

도구를 배포했는데 사용자가 슬그머니 예전 방식으로 돌아가는 일은 흔합니다. 이유는 대개 도구 밖에 있습니다.

1. 첫 사용 안내: 어떤 업무에 먼저 써 보면 좋은지 구체적인 예 세 가지를 줍니다.
2. 믿어도 되는 범위: 어디까지는 그대로 써도 되고 어디부터는 반드시 확인해야 하는지 알려 줍니다.
3. 신고 창구: 틀린 답을 봤을 때 10초 안에 알릴 수 있는 창구를 만듭니다.
4. 숨은 수작업 찾기: 쓰지 않는 사람, 쓰다가 그만둔 사람을 인터뷰합니다. 결과를 다른 프로그램에 옮기며 다시 손보는 일처럼, 지표에 잡히지 않는 수작업이 이유인 경우가 많습니다.

사고 대응, 수작업 전환, 운영 종료

자동화가 멈추거나 잘못 동작할 때를 대비한 계획은 평소에 세워 둡니다.

Anthropic도 예약 작업은 실행할 때마다 결과를 확인하고 쓰지 않는 작업은 멈추거나 지우라고 권합니다. 쓰지 않는데 계속 도는 자동화는 비용을 쓰고, 낡은 권한을 붙들고 있습니다.

깊이 읽기

비교의 함정

도입 효과를 보여 주는 가장 쉬운 방법은 ‘도입 전 3개월 vs 도입 후 3개월’입니다. 그러나 그 사이에 업무량, 업무 난도, 담당자, 계절이 바뀌었다면 차이가 자동화 덕분인지 알 수 없습니다.

동시 비교에서도 두 집단이 처리한 업무의 구성이 다르면 결론이 틀어집니다. 비교할 때는 업무 유형별로 나눠 보는 습관을 들이세요. 전체 평균이 좋아져도 어려운 유형에서는 나빠졌을 수 있습니다.

좋아 보이는 숫자를 의심하기

숫자가 좋아 보일 때 확인할 질문이 있습니다.

1. 분모는 무엇인가. 사용 횟수는 다시 생성할수록 늘어납니다. 건수 기준인지 횟수 기준인지 봅니다.
2. 누구의 목소리인가. 만족도 설문은 계속 쓰는 사람만 응답하기 쉽습니다. 그만둔 사람의 이유가 빠져 있습니다.
3. 관측 건수는 충분한가. 한 주 20건의 결과로 ‘오류 0%’를 말하기는 어렵습니다.
4. 무엇이 줄었나. 생성 시간만 줄고 검토·재작업 시간이 늘었을 수 있습니다.
5. 어려운 사례는 어디로 갔나. 사람에게 넘긴 비율이 급감했다면, 넘겨야 할 일을 억지로 처리하고 있지 않은지 봅니다.

운영 종료도 설계다

모든 자동화가 영원히 돌 필요는 없습니다. 업무가 없어졌거나, 더 나은 방법이 생겼거나, 순절감이 유지 비용보다 작다면 종료가 올바른 결정입니다. 종료할 때는 다음을 남깁니다. 무엇을 왜 끝냈는지, 지침과 시험 세트의 최종본, 연결과 공유를 해제했다는 확인, 사람이 다시 맡은 절차입니다. 이 기록이 있으면 나중에 같은 시도를 할 때 처음부터 다시 배우지 않아도 됩니다.

실무 장면

여울문화재단: 자료 구조가 바뀐 뒤

지역 문화재단 ‘여울문화재단’ 홍보팀은 매주 목요일 오후, 다음 주 문화행사 안내문 초안을 예약 작업으로 만든다. 작업은 행사 담당 부서가 관리하는 일정 스프레드시트를 읽어 행사별 안내문을 쓰고 팀 드라이브에 저장한다. 홍보팀 주무관 임서윤이 초안을 검토해 누리집과 소식지에 올린다.

어느 목요일, 임 주무관은 초안 열네 건 중 아홉 건에 장소가 비어 있는 것을 발견했다. 검토 단계에서 걸러졌으니 밖으로 나간 것은 없었다. 임 주무관은 먼저 다음 주 작업을 일시 중지하고, 이번 주 안내문은 지난주 방식대로 손으로 썼다. 수작업 전환 절차를 미리 적어 두었기에 반나절이면 충분했다.

원인을 찾으면서 임 주무관은 지침부터 의심하지 않았다. 지난주와 비교해 바뀐 것을 다섯 칸으로 확인했다. 지침은 그대로였고, 연결도 정상이었으며, 공급사의 모델·제품 변경 공지도 없었다. 변경 관리 표로 보면 바뀐 것은 ‘자료’였고, 실패 단계 표로 보면 작업에 들어오는 입력의 형식이 달라진 ‘입력’ 단계의 실패였다. 행사 담당 부서가 스프레드시트를 개편하면서 ‘장소’ 열을 ‘장소(건물)’와 ‘장소(호실)’ 두 열로 나눴고, 작업은 예전 열 이름을 찾지 못하고 있었다.

팀원 한 명은 지침에 “장소를 반드시 적어라”를 굵게 넣자고 했다. 임 주무관은 이 안을 받아들이지 않았다. 장소 정보가 입력에 없는데 강조 문장을 넣으면, 작업은 장소를 지어내거나 비슷한 행사의 장소를 끌어올 수 있었다. 대신 세 가지를 바꿨다. 지침에 새 열 구조를 반영하고, 장소 칸이 비어 있으면 그 행사 안내문 맨 위에 ‘장소 확인 필요’라고 표시하게 했다. 시험 세트에는 장소가 빈 행사, 호실만 있는 행사를 더했다. 그리고 행사 담당 부서와 “스프레드시트 열을 바꿀 때는 홍보팀에 미리 알린다”는 약속을 자료 관리대장의 변경 연락 칸에 적었다.

재개 조건은 회귀 시험 통과와 팀장 확인이었다. 기존 시험 세트 20건과 새 사례 4건이 모두 기대대로 나온 뒤 작업을 다시 켰다. 임 주무관의 변경 기록에는 이렇게 남았다. “지침은 그대로였다. 바뀐 것은 자료의 모양이었다.”

풀잎생협: 쓰지 않는 사람들의 이유

소비자생활협동조합 ‘풀잎생협’ 고객센터는 넉 달 전 회원 문의 답장 초안 도우미를 도입했다. 운영 담당 남궁현은 분기 점검을 준비하며 네 가지 지표를 모았다. 채택부터 막혔다. 상담원 15명 가운데 매주 꾸준히 쓰는 사람은 6명이었다. 쓰는 6명의 수정 없이 승인된 비율은 70%로 나쁘지 않았다.

남궁 담당은 쓰지 않는 9명을 한 명씩 만났다. 이유는 품질이 아니었다. 도우미의 초안은 문단마다 제목과 목록 기호가 붙어 나왔는데, 상담 시스템의 답장 칸에 붙여 넣으면 기호가 깨졌다. 상담원들은 초안을 받아 기호를 지우고 줄을 다시 맞추느라 건당 2~3분을 썼고, 차라리 처음부터 쓰는 편이 낫다고 느꼈다. 이 시간은 어떤 지표에도 잡히지 않았다. 효율 지표가 ‘초안 생성 시간’만 재고 있었기 때문이다.

남궁 담당은 두 가지를 고쳤다. 지침의 형식 항목을 “상담 시스템 답장 칸에 그대로 붙여 넣을 수 있는 일반 문장으로 쓴다. 제목과 목록 기호를 쓰지 않는다”로 바꾸고, 같은 시험 세트로 형식만 달라졌는지 확인했다. 효율 지표의 정의도 바꿨다. 이제 건당 시간은 문의를 연 순간부터 답장을 보낸 순간까지다.

품질 지표도 손봤다. 지금까지는 검수자 둘이 각자 판정했는데, 같은 초안 15건을 따로 판정해 보니 5건에서 판정이 갈렸다. 둘은 갈린 건을 놓고 기준을 맞춘 뒤 ‘합격·수정·보류’의 예시를 체크리스트에 붙였다.

두 달 뒤 매주 쓰는 상담원은 13명이 되었고, 문의 한 건을 처리하는 전체 시간은 도입 전 11분에서 7분으로 줄었다. 남궁 담당의 보고서는 사용 횟수가 아니라 네 지표를 나란히 놓았고, 마지막 줄에 지표 정의가 바뀌었다는 사실과 바뀐 이유를 적었다.

자주 틀리는 지점

1. “강조 문장을 추가하면 고쳐진다.” “절대 틀리지 마라”나 굵은 글씨는 원인을 고치지 않습니다. 실패 단계를 가려 그에 맞게 고칩니다.
2. “모델을 바꾸면 다 해결된다.” 낡은 자료, 바뀐 입력, 모호한 지침은 어떤 모델에서도 같은 오류를 냅니다.
3. “실패한 대화를 지우면 다시 안 틀린다.” 대화 기록을 지워도 어시스턴트는 재학습되지 않습니다. 실패 사례는 오히려 시험 자료입니다.
4. “사용량이 늘었으니 성공이다.” 사용 횟수는 재생성으로도 늘어납니다. 품질·효율·채택·한계를 함께 봅니다.
5. “우리가 아무것도 안 바꿨으니 결과도 그대로다.” 자료, 연결, 모델, 제품은 우리 모르게 바뀔 수 있습니다. 공지를 확인하고 시험 세트를 정기적으로 돌립니다.
6. “고친 버전을 바로 전체에 배포한다.” 시험 세트 비교와 일부 적용을 건너뛰면 새 오류를 모두가 겪게 됩니다.
7. “생성 시간이 줄었으니 그만큼 절감했다.” 검토·수정·재작업·유지 시간을 빼야 순절감입니다.

한눈에 정리

• 검수 체크리스트는 업무 위험에 맞춰 범주를 고르고, 완료 조건에서 출발해 실패 사례로 늘린다.
• 오류는 경미·중요·중대로 나누고, 중대 오류가 가능한 단계는 전수 검수, 나머지는 표본 검수. 전환 조건을 미리 정한다.
• 검수자가 둘 이상이면 같은 건을 따로 판정해 기준을 맞춘다.
• 운영 지표는 품질·효율·채택·한계 네 가지를 함께 본다. 지표마다 계산식, 분모, 포함·제외, 수집 방법을 정의한다.
• 채점은 정확한 값은 규칙, 애매한 판단은 사람, 어조·형식은 신뢰도를 시험한 AI.
• 실패는 입력·자료·검색·생성·권한·연결·검수·전달 중 어디서 났는지부터 가린다. 모델 교체는 첫 처방이 아니다.
• 개선은 재현 → 가설 → 하나만 바꾸기 → 회귀 시험 → 시험 세트에 추가.
• 변경 관리는 지침·자료·연결·모델·제품 다섯 가지를 함께 다룬다.
• 순절감 = 줄어든 건당 전체 시간 × 건수 − 유지 시간. 품질이 유지되었는지 함께 본다.
• 중단 신호, 수작업 전환, 재개 조건, 운영 종료 기준은 평소에 정해 둔다.

공식 문서로 확인하기

• Anthropic — Define success criteria and build evaluations: 성공 기준의 조건, 평가 설계 원칙, 코드·사람·AI 채점의 장단점을 읽습니다.
• Anthropic — Building effective agents: 성능을 측정하며 반복 개선하고, 결과를 분명히 개선할 때만 복잡도를 더하라는 원칙을 확인합니다.
• OpenAI — Creating and editing GPTs: 미리보기 시험, 버전 기록과 복원, 커스텀 GPT 종료 일정을 읽습니다.
• Google — Create a notebook in Gemini Notebook: 노트북 사용 분석 지표와 조건을 확인합니다.
• Google — About the transition from Gems to skills: 제품 전환 일정과 이전 방법을 확인합니다.
• Anthropic — Use Claude Cowork safely: 예약 작업의 결과 확인과 미사용 작업 정리 권고를 읽습니다.

셀프 체크

5-1. 모든 업무에 같은 긴 검수 체크리스트를 쓰면 생기는 문제를 설명하라. 그리고 사내 주간 회의록 요약 업무에 꼭 필요한 검수 범주와 생략해도 되는 범주를 이 장의 표에서 하나씩 골라라.

5-2. 오류를 경미·중요·중대로 나눌 때 각 등급의 예를 하나씩 들고, 표본 검수에서 전수 검수로 되돌리는 조건을 하나 제안하라.

5-3. 검수자 두 명의 판정이 자주 엇갈린다. 판정 기준을 맞추는 절차를 세 단계로 쓰고, 그래도 계속 엇갈리는 항목은 어떻게 고쳐야 하는지 설명하라.

5-4. 어떤 주에 초안 200건을 만들었고 사람이 그중 120건을 검토했으며 그중 90건이 수정 없이 승인되었다. 분모를 생성 건수로 할 때와 검토 건수로 할 때의 비율을 각각 구하고, 보고할 때 어느 쪽을 품질 지표로 쓰고 무엇을 함께 적어야 하는지 써라.

5-5. 다음 세 실패를 발생 단계로 분류하라. ㉠ 커넥터 인증이 만료되어 어제 들어온 메일을 가져오지 못했다 ㉡ 맞는 근거 문서를 찾았지만 예외 조항을 빠뜨리고 답했다 ㉢ 신청서 양식이 바뀌어 신청자 연락처 칸을 읽지 못했다.

5-6. 가상의 수치로 월 순절감을 계산하라. 월 500건, 도입 전 건당 10분, 도입 후 생성 1분과 검토·수정 4분, 월 유지 시간 10시간이다. 계산 과정을 보이고, 이 숫자만으로 성공이라고 말하기 전에 확인할 것을 하나 써라.

5-7. 자동화를 멈추고 사람이 일을 넘겨받아야 할 때를 대비해 평소에 정해 둘 것을 세 가지 쓰고, 그중 하나가 빠지면 어떤 혼란이 생기는지 설명하라.

실습 과제