1장. AI 적용 판단

학습 목표

• 과제마다 규칙·조회, 검색, 분류 모델, 생성 모델, 워크플로, 에이전트 가운데 맞는 해법을 고르고 그 이유를 설명한다.
• AI가 더 나은 문제와 그렇지 않은 문제를 구분하고, AI가 필요 없는 요구를 기획 초기에 걸러 낸다.
• 데이터 조건(기록, 기대 출력, 대표성, 외부 전송 가능 여부)과 비용 조건(효과 대비 개발·평가·운영 비용)을 따져 착수 여부를 정한다.
• AI 기본법의 고영향 영역과 생성형 인공지능 의무, 개인정보 보호법의 자동화된 결정 조항이 기획에 미치는 영향을 판단한다.
• 판단의 근거를 한 장짜리 AI 적용 판단 메모로 남긴다.

들어가며

어느 회의실에서 이런 대화가 오간다고 해 봅시다. "경쟁사가 AI 상담을 붙였대요. 우리도 이번 분기에 하나 넣죠." "어디예요?" "음, 일단 문의 쪽이에요." 이 대화에는 질문이 거꾸로 서 있습니다. 해법(AI)이 먼저 정해졌고, 문제는 나중에 찾고 있습니다. 이렇게 시작한 기능은 대개 두 가지 중 하나로 끝납니다. 규칙 몇 줄이면 될 일을 비싸고 불안정하게 만들거나, AI가 정말 필요한 곳은 데이터가 없어 손도 못 댑니다.

AI 적용 판단은 "AI를 어떻게 쓸까"가 아니라 "이 문제에 AI가 필요한가, 필요하다면 어떤 형태가 가장 단순한가"를 묻는 일입니다. Anthropic은 에이전트 설계 지침에서 가능한 가장 단순한 해법을 찾고 필요할 때만 복잡도를 높이라고 하며, 그것이 에이전트 시스템을 아예 만들지 않는 것일 수도 있다고 말합니다. 기획자의 첫 번째 일은 이 단순함의 감각을 지키는 것입니다.

이 장은 먼저 해법의 사다리를 세우고, 사다리의 각 칸이 언제 맞는지 봅니다. 그다음 AI가 잘하는 문제와 그렇지 않은 문제를 Google PAIR 가이드의 분류로 정리하고, 데이터와 비용이라는 현실의 조건을 더합니다. 마지막으로 법이 기획에 끼어드는 지점, 즉 고영향 영역과 자동화된 결정을 다루고, 이 모든 판단을 한 장의 메모로 남기는 법을 익힙니다.

핵심 개념

AI 적용 판단이란 무엇인가

AI 적용 판단은 하나의 업무 과제를 놓고 세 가지를 정하는 일입니다. 첫째, 자동화나 보조가 필요한가. 둘째, 필요하다면 어떤 해법이 가장 단순하게 목적을 이루는가. 셋째, 그 해법을 지금 만들 조건(데이터, 비용, 법적 요건)이 갖춰졌는가. 셋 중 하나라도 "아니요"면 AI 기능은 착수하지 않거나 형태를 바꿉니다.

비유하자면 AI 적용 판단은 병원의 진료 순서와 같습니다. 의사는 증상을 듣자마자 수술을 권하지 않습니다. 먼저 원인을 확인하고, 약으로 되는지 보고, 그래도 안 될 때 더 무거운 처치를 고릅니다. AI도 같습니다. 규칙으로 되는 일에 생성 모델을 쓰는 것은 감기에 수술을 권하는 것과 같습니다.

해법의 사다리

AI 기능의 해법은 가벼운 것부터 무거운 것까지 사다리로 세울 수 있습니다. 위로 갈수록 할 수 있는 일은 넓어지지만, 결과의 변동성과 비용, 검증해야 할 것이 함께 늘어납니다.

Anthropic은 워크플로를 LLM과 도구가 미리 정한 코드 경로로 짜인 시스템으로, 에이전트를 LLM이 스스로 과정과 도구 사용을 정하는 시스템으로 구분합니다. 에이전트는 단계 수를 예측하기 어렵거나 불가능한 열린 문제에 쓰고, 자율성의 대가로 비용 증가와 오류 누적 가능성을 받아들여야 한다고 설명합니다. 그래서 샌드박스에서의 충분한 시험과 적절한 가드레일을 권합니다.

규칙과 조회가 이기는 경우

결과가 입력과 규칙으로 완전히 정해지는 일은 규칙과 조회가 가장 정확하고 싸고 빠릅니다. 배송비 계산, 회원 등급별 할인, 남은 포인트 조회, 마감일 계산이 그렇습니다. 사용자가 자연어로 물어도 결론은 바뀌지 않습니다. 질문 표현이 몇 가지로 정해져 있다면 의도 분류만 가볍게 하고, 답은 시스템의 값을 그대로 보여 주면 됩니다.

여기서 흔한 착각은 "질문이 자연어니까 답도 모델이 만들어야 한다"입니다. 모델이 숫자를 문장으로 옮기는 순간 숫자를 잘못 옮길 위험이 생깁니다. 정답이 시스템에 있는 일에 생성 단계를 넣으면 얻는 것은 없고 검증할 것만 늘어납니다. Google PAIR 가이드도 예측 가능성을 지켜야 하는 일을 AI가 더 낫지 않을 가능성이 큰 유형으로 듭니다.

검색이 이기는 경우

정해진 문서에서 원문을 찾아 보여 주는 것으로 목적이 끝나면 검색이 맞습니다. 특히 사용자가 원문을 직접 읽고 판단해야 하고, 바꿔 쓴 문장을 근거로 인정하지 않는 업무(법무, 감사, 규정 해석의 최종 확인)에서는 생성 단계가 가치를 더하지 않습니다. 오히려 요약이 원문과 미묘하게 다를 위험만 생깁니다.

반대로 여러 문서에 흩어진 내용을 묶어 쉽게 풀어 줘야 하면 검색만으로는 부족합니다. 이때는 검색으로 근거 단락을 찾고, 그 단락에 묶어 생성하는 구성(검색 증강 생성)을 씁니다. Claude 문서는 긴 문서를 다룰 때 직접 인용을 먼저 뽑아 근거로 삼고, 주장마다 인용으로 검증하게 하면 지어낸 답을 줄일 수 있다고 설명합니다.

모델이 필요한 문제

Google PAIR 가이드는 AI가 더 나을 가능성이 큰 일로 여덟 가지를 듭니다. 기획에서 가장 자주 만나는 것은 사용자마다 다른 콘텐츠를 추천하는 일, 미래의 사건을 예측하는 일, 자연어를 이해하는 일, 드물게 일어나고 시간이 지나며 바뀌는 사건을 탐지하는 일의 네 가지입니다. 나머지는 개인화로 경험이 좋아지는 일, 한 부류의 대상을 통째로 알아보는 일, 특정 분야의 에이전트·봇 경험, 예측 가능한 화면보다 동적인 콘텐츠가 더 효율적인 일입니다. 공통점은 규칙으로 모든 경우를 미리 적을 수 없다는 것입니다. 자유 형식 문의를 유형으로 나누는 일, 고객의 다음 구매 시점을 예측하는 일, 수법이 계속 바뀌는 부정 거래를 잡는 일이 여기에 속합니다.

이런 일에 규칙만 고집하면 규칙이 끝없이 늘어나고, 새로운 경우가 나올 때마다 뒤처집니다. 그렇다고 모델이 정답을 보장하지도 않습니다. 모델이 필요한 문제라는 판단은 "규칙으로는 안 된다"는 뜻이지 "모델이면 된다"는 뜻이 아닙니다. 그래서 다음 칸, 즉 데이터와 평가의 조건을 꼭 따집니다.

모델이 필요하다는 결론이 나면 사다리의 3칸(분류·예측 모델)과 4칸(생성 모델) 가운데 어디에 설지도 정합니다.

정해진 범주로 나누는 일이라도 정답이 붙은 기록이 적거나 표현이 다양하면 생성 모델에 분류를 맡기는 편이 빠르게 시작할 수 있습니다. 어느 쪽이든 평가 세트로 기준을 넘는지 확인하는 것은 같습니다.

AI가 맞지 않는 문제

같은 가이드는 AI가 더 낫지 않을 가능성이 큰 일도 여섯 가지로 듭니다. 예측 가능성을 유지해야 하는 일, 정적이거나 제한된 정보를 제공하는 일, 비싼 오류를 최소화해야 하는 일, 완전한 투명성이 필요한 일, 빠르고 싸게 만드는 것이 가장 중요한 일, 사람들이 가치를 두고 직접 하고 싶어 하는 일의 자동화입니다.

이 가운데 비싼 오류와 완전한 투명성은 특히 기획자가 놓치기 쉽습니다. 오류 한 번의 비용이 매우 크고 되돌릴 수 없는 판단(예를 들어 사진 한 장으로 물리적 안전을 판정하는 일)은 정확도가 높아도 AI에 맡기지 않는 결정이 맞을 수 있습니다. 결과에 이르는 과정을 단계마다 빠짐없이 보여 줘야 하는 일(세금 계산의 근거, 규정을 적용한 순서처럼 감사나 이의 제기에서 한 줄씩 따져야 하는 결정)도 그렇습니다. 확률적으로 답을 만드는 모델은 그 답이 나온 과정을 규칙처럼 완전히 재현해 보여 주기 어렵습니다. 그래서 이런 일은 규칙으로 만들고 AI는 설명을 돕는 보조 역할에 둡니다. NIST AI RMF는 시스템이 의도한 목적을 달성하는지, 개발이나 배포를 진행할지를 판단하는 것을 위험 관리의 일부로 둡니다. "만들지 않는다"도 정당한 기획 결론입니다.

자동화와 보조

AI 기능은 사람의 일을 대신하는 자동화와 사람의 일을 돕는 보조(augmentation)로 나눌 수 있습니다. PAIR 가이드는 사람들이 피하고 싶은 일을 완전히 없애 줄 때 자동화가 선호되고, 역할에서 위험이 클 때 사람들은 통제권을 쥐고 싶어 하거나 쥐어야 한다고 설명합니다.

기획자는 두 질문으로 둘을 가릅니다. 사용자가 이 일을 직접 하고 싶어 하는가, 그리고 결과에 대한 책임을 누가 지는가. 반복적이고 지루하며 틀려도 쉽게 고칠 수 있는 일은 자동화가, 판단에 책임이 따르고 사용자가 결과를 이해해야 하는 일은 보조가 맞습니다. 금전을 약속하는 고객 답변처럼 되돌리기 어려운 결과는 AI가 초안을 쓰고 사람이 승인하는 보조 형태가 흔한 답입니다.

워크플로와 에이전트를 고르는 기준

LLM이 필요하다는 결론이 나도 형태는 여러 가지입니다. 한 번의 호출로 끝나는지, 정해진 단계를 차례로 밟는지(프롬프트 체이닝), 입력을 분류해 다른 처리로 보내는지(라우팅), 생성과 평가를 번갈아 하는지(평가자-최적화자), 아니면 스스로 단계를 정해야 하는지(에이전트).

Anthropic은 라우팅을 입력을 분류해 전문화된 후속 작업으로 보내는 방식으로 설명하고, 분류가 LLM이나 전통적인 분류 모델로 정확히 처리될 수 있을 때 잘 맞는다고 합니다. 평가자-최적화자는 명확한 평가 기준이 있고 반복 개선이 측정 가능한 가치를 줄 때 쓰라고 합니다.

데이터 조건

모델이 필요한 문제여도 데이터가 없으면 만들 수 없고, 만들어도 확인할 수 없습니다. 기획자가 확인할 데이터 조건은 네 가지입니다.

1. 기록이 있는가. 예측하려는 사건이 시스템에 남아 있는가. 주문이 개인 메신저로만 오가고 날짜가 기록되지 않는다면 주문 시점 예측은 시작할 수 없습니다.
2. 기대 출력이 있는가. 무엇이 맞는 답인지 보여 주는 정답이나 사람의 판단 기록이 있는가. 없다면 평가 세트를 만들 수 없습니다.
3. 대표성이 있는가. 가진 데이터가 실제 사용자와 입력을 대표하는가. PAIR 가이드는 데이터가 실제로 쓸 사람들의 다양성과 맥락을 반영해야 한다고 강조합니다.
4. 써도 되는가. 그 데이터를 외부 모델 제공사로 보내도 되는가. 개인정보나 계약상 비밀이 섞였다면 제공사의 처리 조건(보존 기간, 학습에 쓰는지 여부 등)을 계약 문서로 확인하고, 필요하면 보내기 전에 가립니다.

기록이 없으면 데이터를 남기는 업무 절차부터 만들고, 기록은 있는데 기대 출력이 없으면 표본에 기대 출력을 붙이는 일부터 합니다.

비용 조건

AI 기능의 비용은 모델 호출 요금만이 아닙니다. 개발, 평가 세트 구축, 보안·법무 검토, 운영 모니터링, 실패 처리 인력, 모델 교체 대응까지 들어갑니다. 효과는 대개 "절약되는 시간 × 단가"나 "늘어나는 매출"로 셉니다.

간단한 계산부터 해 보세요. 연 500건, 건당 4분인 업무를 완전히 자동화해도 절약되는 시간은 한 해 약 33시간입니다. 반대로 하루 5,000건, 건당 2분인 업무를 절반만 자동화해도 하루 약 83시간입니다. 처리량이 작은 업무는 아무리 잘 만들어도 비용을 회수하기 어렵습니다.

호출 비용 자체도 설계로 줄일 수 있습니다. Claude 문서에 따르면 즉시 응답이 필요 없는 대량 작업은 Message Batches API로 비동기 처리할 수 있고, 대부분 1시간 안에 끝나며 비용을 50% 줄입니다. 다만 24시간 안에 처리되지 않으면 만료되므로 마감이 있는 일은 여유를 둡니다. 실시간이 필요한지부터 묻는 것이 비용 판단의 첫 질문입니다.

고영향 영역 해당 여부

AI 기본법은 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템 가운데 정해진 영역에서 활용되는 것을 고영향 인공지능으로 정의합니다(제2조제4호). 기획자가 외워 둘 영역은 다음과 같습니다.

인공지능사업자는 제품이나 서비스를 제공할 때 그 인공지능이 고영향에 해당하는지 사전에 검토해야 하고, 필요하면 과학기술정보통신부장관에게 확인을 요청할 수 있습니다(제33조). 확인 요청은 "할 수 있다"는 재량 절차입니다. 고영향에 해당하면 위험관리방안, 기술적으로 가능한 범위의 설명 방안, 이용자 보호 방안, 사람의 관리·감독, 조치 내용을 확인할 수 있는 문서의 작성과 보관 등을 이행해야 합니다(제34조제1항). 사전에 사람의 기본권에 미치는 영향을 평가하도록 노력해야 한다는 고영향 인공지능 영향평가 조항(제35조제1항)도 있습니다.

고영향이 아니어도 법이 끼어드는 지점이 있습니다. 고영향이나 생성형 인공지능을 이용한 제품·서비스를 제공하려면 그 사실을 이용자에게 사전에 고지해야 하고(제31조제1항), 생성형 인공지능의 결과물에는 생성형 인공지능이 만들었다는 사실을 표시해야 하며(제31조제2항), 실제와 구분하기 어려운 가상의 음향·이미지·영상은 이용자가 명확히 인식할 수 있게 고지하거나 표시해야 합니다(제31조제3항).

자동화된 결정과 개인정보 보호법

AI 기본법과 별개로 개인정보 보호법 제37조의2는 완전히 자동화된 시스템으로 개인정보를 처리해 이루어지는 결정(자동화된 결정)을 다룹니다. 「행정기본법」 제20조에 따른 행정청의 자동적 처분은 이 조의 자동화된 결정에서 제외됩니다. 이 조문은 "인공지능 기술을 적용한 시스템을 포함한다"고 적고 있어, AI가 아닌 규칙 엔진의 자동 결정에도 적용될 수 있습니다.

결정이 자신의 권리나 의무에 중대한 영향을 미치면 정보주체는 그 결정을 거부할 권리를 갖지만, 동의·법률·계약 이행 등에 따른 결정이면 거부권은 제한됩니다(제1항). 반면 결정에 대한 설명 등을 요구할 권리(제2항)와 그에 따른 처리자의 조치 의무(제3항), 결정의 기준과 절차, 개인정보가 처리되는 방식을 쉽게 확인할 수 있게 공개할 의무(제4항)는 중대한 영향이라는 조건 없이 자동화된 결정 전반에 걸립니다. 시행령은 중대한 영향이 없는 결정에는 설명을 더 간단히 할 수 있게 합니다.

시행령은 이 내용을 구체화합니다. 설명 등의 요구는 결정의 기준과 처리 과정에 대한 설명, 그리고 정보주체가 개인정보 추가 같은 의견을 내며 그 의견을 결정에 반영할 수 있는지 검토해 달라는 요구로 나뉩니다(시행령 제44조의2). 처리자는 정당한 사유가 없으면 결정의 결과, 사용된 주요 개인정보의 유형, 주요 기준, 처리 절차를 담은 간결하고 의미 있는 설명을 제공하거나, 의견의 반영 여부를 검토해 알려야 합니다. 거부의 경우에는 그 결정을 적용하지 않거나 인적 개입으로 재처리하고, 조치는 원칙적으로 요구를 받은 날부터 30일 안에 해야 합니다(시행령 제44조의3). 공개할 항목도 시행령 제44조의4에 정해져 있습니다.

기획자에게 주는 교훈은 단순합니다. "AI 대신 규칙으로 만들면 규제를 피한다"는 생각은 틀릴 수 있습니다. 사람의 실질적인 검토 없이 개인정보로 결정을 자동으로 내리는 설계라면(행정청의 자동적 처분은 제외), 기술이 무엇이든 기준 공개, 설명과 검토 요구의 접수, 담당자의 처리 절차를 함께 기획하고, 권리에 큰 영향을 주는 결정이면 거부 요구의 처리까지 넣습니다.

AI가 필요 없는 요구를 걸러 내는 질문

AI 과제 후보가 올라오면 다음 다섯 질문을 차례로 던집니다. 1~4번은 AI를 쓸지를, 5번은 쓴다면 어떤 형태로 쓸지를 정합니다. 앞의 질문에서 걸리면 뒤로 가지 않고, 걸린 자리의 결론을 판단 메모에 그대로 적습니다.

결론은 이 여섯 가지 가운데 하나입니다. 착수(자동화), 착수(보조 형태), 형태 변경(규칙·검색), 데이터 선행, 보류(지금 방식 유지), 만들지 않음. 걸러 낸 과제도 버리지 말고 다음 행동과 담당자를 붙여 기록합니다.

AI 적용 판단 메모

판단은 반드시 글로 남깁니다. 나중에 "왜 이 기능을 AI로 만들었나", "왜 그때 만들지 않았나"를 설명할 수 있어야 하고, 법적 사전 검토의 근거로도 쓰입니다. 한 장이면 충분합니다.

[AI 적용 판단 메모]
과제: (한 문장)
현재 처리 방식과 처리량: (월 ○건, 건당 ○분, 오류율 ○%)
해법의 사다리: (고른 칸) / 아래 칸으로 안 되는 이유: (한 문장)
데이터 조건: 기록(있음/없음) · 기대 출력(있음/없음) · 대표성 · 외부 전송 가능 여부
비용 조건: 예상 효과 vs 개발·평가·운영 비용
법적 검토: 고영향 해당 여부(제2조제4호 ○목 검토 결과), 생성형 고지·표시, 자동화된 결정 해당 여부
결론: 착수(자동화) / 착수(보조 형태) / 형태 변경(규칙·검색) / 데이터 선행 / 보류(지금 방식 유지) / 만들지 않음
다음 행동과 담당자:

깊이 읽기

"모델이 좋아지면 하자"는 판단의 함정

AI 과제를 보류하며 "모델 성능이 이 일을 완전히 맡길 수준이 되면 다시 보자"고 하는 경우가 많습니다. 이 판단은 두 가지 경우에만 맞습니다. 오류가 되돌릴 수 없는 큰 피해로 이어지는데 사람의 개입으로도 위험을 줄일 수 없을 때, 그리고 현재 모델로 평가해 보니 기준에 크게 못 미칠 때입니다.

나머지 경우에 이 판단은 두 가지를 놓칩니다. 첫째, 규칙으로 지금 당장 만들 수 있는 일을 AI 문제로 잘못 분류했을 수 있습니다. 둘째, "완전히 맡길 수준"이 아니어도 사람의 개입과 결합하면 지금 가치를 낼 수 있습니다. 오류를 되돌릴 수 있는 분류라면 확신이 낮은 건만 사람에게 넘기는 방식으로 오늘 시작할 수 있습니다. 보류를 결정할 때는 무엇이 바뀌면 다시 볼지(평가 점수, 비용, 데이터)를 숫자로 적어 두세요.

사람이 결정하면 위험이 사라지는가

사람이 최종 결정하는 구조는 위험을 줄이지만 없애지는 않습니다. 하루 수천 건을 몇 초씩 보며 AI의 추천을 그대로 승인한다면 형식은 사람의 결정이어도 실질은 자동화입니다. 이 문제는 4장에서 자세히 다루지만, 적용 판단 단계에서도 두 가지를 확인해야 합니다. 검토자가 결과를 바꿀 권한과 판단 근거를 갖게 될 것인가, 그리고 검토할 수 있는 처리량인가.

법적으로도 이 구분은 중요합니다. 개인정보 보호법의 자동화된 결정은 "완전히" 자동화된 결정을 대상으로 하므로, 실질적인 사람의 검토가 있으면 적용 범위가 달라질 수 있습니다. 반면 AI 기본법의 고영향 정의는 영역과 활용을 기준으로 하므로 사람이 검토해도 사전 검토 의무는 남습니다. 같은 "사람의 결정"이 두 법에서 다르게 작동합니다.

비용 비교에서 빠지기 쉬운 항목

AI 기능의 비용을 견적서의 개발비와 월 호출 요금으로만 계산하면 거의 항상 과소평가합니다. 빠지기 쉬운 항목은 다음과 같습니다.

Claude 문서는 공개 모델의 은퇴를 최소 60일 전에 알리고, 은퇴일이 지난 모델로 보낸 요청은 실패한다고 밝힙니다. AI 기능은 만들고 끝나는 자산이 아니라 계속 돌봐야 하는 서비스라는 점을 비용에 넣으세요.

실무 장면

바닷길해운의 선적 서류 확인

해운 회사 '바닷길해운'의 운영팀은 매일 400건의 선적 서류를 받아 화물 무게, 컨테이너 번호, 위험물 표시가 예약 정보와 맞는지 확인합니다. 팀장은 "AI가 서류를 읽고 다 확인해 주면 좋겠다"고 요청했습니다.

기획자는 과제를 쪼갰습니다. 서류는 정해진 양식의 전자 문서가 70%, 스캔한 종이가 30%였습니다. 전자 문서의 값은 필드로 바로 읽히므로 예약 정보와의 대조는 규칙 비교로 충분했습니다. 스캔 문서는 글자를 읽고 필드를 찾아야 해서 모델이 필요했습니다.

처음 나온 안은 "에이전트가 서류를 읽고, 불일치를 찾고, 선사에 정정 요청 메일까지 보낸다"였습니다. 기획자는 이 안을 버렸습니다. 정정 요청은 외부로 나가는 행동이라 잘못 보내면 되돌리기 어렵고, 단계가 정해진 일을 에이전트에 맡길 이유도 없었기 때문입니다. "모델 성능이 좋아질 때까지 보류" 안도 버렸습니다. 70%는 오늘 규칙으로 만들 수 있었습니다.

최종 결정은 이렇습니다. 전자 문서는 규칙 대조로 자동 처리합니다. 스캔 문서는 모델이 필드를 뽑되 출력 형식을 고정하고, 지난 석 달의 스캔 문서 300건에 직원이 확인한 정답을 붙여 평가 세트를 만든 뒤 착수 여부를 정합니다. 위험물 표시는 오류의 피해가 크므로 불일치가 나오면 항상 사람이 확인합니다. 정정 요청 메일은 사람이 보냅니다. 법적 검토 칸에는 이 기능이 AI 기본법 제2조제4호아목(교통수단·교통시설·교통체계의 주요한 작동과 운영)에 해당하는지 검토한 결과와 근거를 적었습니다. 서류 대조는 운항이나 교통체계의 작동을 직접 제어하지 않는 내부 확인 업무라는 판단이었고, 애매한 부분은 법무팀 확인 항목으로 남겼습니다. 판단 메모에는 "위험물 표시 항목은 정확도와 관계없이 사람 확인"이라는 문장도 남았습니다.

새벽빵공방의 신메뉴 문구

제과 프랜차이즈 '새벽빵공방' 마케팅팀은 매달 신메뉴 소개 문구 후보를 AI로 받아 쓰고 싶어 했습니다. 동시에 영업팀은 "가맹점별 다음 달 발주량을 AI로 예측해 달라"고 요청했습니다.

문구 과제는 사실 주장이 거의 없고, 사람이 고르고 다듬으며, 처리량도 한 달에 수십 개였습니다. 처리량이 작으면 비용을 회수하기 어렵다는 원칙과 어긋나 보이지만, 이 과제는 따로 시스템을 만들지 않고 이미 계약한 범용 AI 도구로 후보를 받는 일이라 개발·운영 비용이 거의 들지 않았고, 사람이 매번 고르므로 별도의 평가 체계도 필요하지 않았습니다. 기획자는 이 과제를 생성 모델의 단일 호출로 충분한 보조 기능으로 판단했습니다. 다만 원재료나 알레르기 표기처럼 사실이 들어가는 문장은 상품 정보에서 그대로 가져오도록 규칙을 덧붙였고, 생성형 인공지능 결과물의 표시 의무(제31조제2항)가 사람이 고쳐 쓴 광고 문구에도 적용되는지는 법무팀 검토 항목으로 메모에 남겼습니다.

발주 예측은 AI가 잘할 수 있는 유형이었지만 데이터 조건에서 걸렸습니다. 가맹점 발주는 전화와 문자로 받아 본사 시스템에는 월말 합계만 남았습니다. 기획자는 "AI 예측 착수"를 보류하고 "가맹점 발주 앱 도입으로 날짜·품목·수량 기록"을 선행 과제로 올렸습니다. 영업팀은 실망했지만, 석 달 뒤 기록이 쌓이자 예측 과제는 평가 세트와 함께 다시 올라왔습니다. 버린 선택지는 "합계 데이터로 일단 모델을 만들어 보자"였습니다. 월말 합계로는 다음 주문 시점을 배울 수 없기 때문입니다.

자주 틀리는 지점

1. "자연어로 물으니 LLM이 답해야 한다." 질문 형식과 답의 성격은 다릅니다. 답이 시스템의 값이면 조회가 맞고, 생성은 숫자를 잘못 옮길 위험만 더합니다.
2. "에이전트가 가장 발전된 형태이니 가장 좋다." 에이전트는 단계 수를 예측할 수 없는 열린 문제를 위한 것입니다. 정해진 단계의 일에 쓰면 비용과 오류 누적만 늘어납니다.
3. "모델이 필요한 문제면 바로 개발해도 된다." 기록과 기대 출력이 없으면 만들어도 확인할 수 없습니다. 데이터 조건이 착수 조건입니다.
4. "작은 업무도 자동화하면 이득이다." 처리량이 작으면 개발·평가·운영 비용을 회수할 수 없습니다. 연간 절약 시간을 먼저 계산하세요.
5. "사람이 최종 결정하면 고영향이 아니다." 고영향은 영역과 활용으로 정의됩니다. 사람의 관리·감독은 고영향의 의무이지 면제 사유가 아닙니다.
6. "AI가 아니라 규칙으로 만들면 법적 걱정이 없다." 개인정보 보호법의 자동화된 결정 조항은 AI가 아닌 완전 자동화 시스템에도 적용될 수 있습니다.
7. "고영향인지 따질 때는 장관의 확인을 받을 때까지 기획을 멈춘다." 확인 요청은 자체 사전 검토 뒤에도 해당 여부가 정말 애매할 때 쓸 수 있는 정당한 절차입니다. 하지만 대출 심사처럼 조문에 명시된 영역이라 판단이 분명한데도 회신만 기다리며 기획을 멈추는 것은 사전 검토 의무를 미루는 일입니다.

한눈에 정리

공식 문서로 확인하기

• Anthropic — Building effective agents: 가장 단순한 해법 원칙, 워크플로와 에이전트의 구분, 라우팅과 평가자-최적화자.
• Google PAIR Guidebook — User Needs + Defining Success: AI가 더 나은 일과 그렇지 않은 일, 자동화와 보조.
• Google PAIR Guidebook — Data Collection + Evaluation: 사용자 필요에서 데이터 필요로, 대표성과 테스트 세트.
• Claude Docs — Batch processing: 일괄 처리의 비용과 처리 시간, 만료 조건.
• NIST AI RMF — Core: MAP 3.1(이익 검토), MANAGE 1.1(진행 여부 판단).
• 국가법령정보센터 — 인공지능기본법 제2조: 고영향 인공지능과 생성형 인공지능의 정의. 같은 법 제31·33·34·35조도 함께 읽으세요.
• 국가법령정보센터 — 개인정보 보호법 제37조의2: 자동화된 결정에 대한 정보주체의 권리. 같은 법 시행령 제44조의2~제44조의4가 요구 방법, 조치, 공개 항목을 정합니다.

셀프 체크

1-1. 해법의 사다리에서 에이전트가 맞는 문제의 조건을 한 문장으로 쓰고, 그 대가 가운데 두 가지를 적으라.

1-2. Google PAIR 가이드가 AI가 더 낫지 않을 가능성이 크다고 보는 일을 네 가지 이상 쓰라.

1-3. 도서관 좌석 예약 앱에서 "남은 좌석 수를 대화형으로 알려 주는 기능"이 제안됐다. 좌석 수는 예약 시스템에 실시간으로 있다. 어떤 해법이 맞고, 왜 생성 모델은 맞지 않는가?

1-4. 고객의 다음 방문 시점을 예측하는 기능을 만들려는데, 방문 기록이 현장 종이 명부에만 있다. 기획자가 가장 먼저 할 일은 무엇인가?

1-5. AI 기본법에서 고영향 인공지능에 해당하면 사업자가 해야 할 조치를 세 가지 이상 쓰라.

1-6. "결정 거부권이 계약 때문에 제한되면 자동화된 결정 조항은 신경 쓰지 않아도 된다"는 주장의 문제를 개인정보 보호법 제37조의2로 설명하라.

1-7. (설계) 지금 맡은 서비스에서 AI 후보 과제 하나를 골라, 이 장의 다섯 걸러 내기 질문에 차례로 답하고 결론을 한 줄로 쓰라.

실습 과제