4장. 책임 있는 사용과 데이터
학습 목표
- 주요 AI 회사 사용 정책의 공통 금지 범주와 고위험 영역의 사람 검토·고지 요구를 설명한다.
- 소비자용과 기업용 플랜의 학습 사용, 보존, 사람 검토, 관리자 접근 차이를 구분하고 관리자 제어의 역할을 말한다.
- 민감 정보를 AI에 넣어도 되는지 판단하고, 넣는다면 식별 가능성을 낮춰 최소화한다.
- 자료 속 숨은 지시의 위험을 알아보고, 출처를 주장 단위로 확인해 AI 생성물을 검증한다.
- 저작권, 편향, AI 사용 고지를 외부 공개 전 점검 항목으로 다룬다.
들어가며
물류 회사 기획팀의 문 사원은 금요일 오후 급하게 거래처 설명회 자료를 만들고 있었습니다. 회사가 승인한 AI 도구에 로그인하는 것이 번거로워, 휴대폰에 깔린 개인 AI 앱에 거래처 계약 조건과 담당자 연락처가 담긴 표를 붙여 넣었습니다. 결과는 훌륭했고 발표도 잘 끝났습니다. 그런데 다음 주 보안 교육에서 같은 사례가 '하지 말아야 할 일'로 소개되었습니다. 문 사원은 억울했습니다. 결과물에는 아무 문제가 없었기 때문입니다.
문 사원이 잘못한 것은 AI를 쓴 일이 아닙니다. 어떤 자료를, 어떤 환경에, 얼마나 넣는지 판단하지 않은 것입니다. 개인 앱의 데이터 설정이 회사 계약과 같은 보호를 주는지, 그 자료에 필요 없는 개인정보가 들어 있지 않은지, 그 환경의 대화가 누구에게 보일 수 있는지를 묻지 않았습니다. 사고는 결과물이 아니라, 자료를 붙여 넣은 순간에 이미 일어난 것입니다.
이 장은 그 판단을 다룹니다. 먼저 AI 회사들의 사용 정책이 공통으로 금지하는 것과 고위험 영역의 조건을 보고, 데이터가 어떻게 저장되고 쓰이는지를 다섯 개의 축으로 나눠 봅니다. 이어서 민감 정보 입력 판단, 개인정보의 식별 가능성, 자료 속 숨은 지시, 출처 확인과 사실 검증, 저작권과 편향을 차례로 다룹니다. AI 활용 역량 가운데 성실(Diligence)에 해당하는 장입니다.
핵심 개념
사용 정책의 공통 금지 범주
사용 정책은 AI 회사가 자기 서비스로 해서는 안 되는 일을 정한 규칙입니다. OpenAI, Anthropic, Google의 정책은 표현은 달라도 금지하는 뼈대가 닮았습니다.
| 공통 범주 | 예 |
|---|---|
| 불법 행위와 폭력 | 불법 물품·서비스 지원, 테러·폭력 조장, 무기 개발 |
| 아동 안전 | 아동 착취 콘텐츠, 미성년자 대상 유해 행위 |
| 프라이버시 침해 | 동의 없는 감시·프로파일링, 동의 없는 얼굴 인식 데이터베이스 |
| 사기와 기만 | 사칭, 스팸, 피싱, 가짜 리뷰, 허위 정보 캠페인 |
| 보안 침해 | 타인 시스템 침입, 악성 행위, 안전장치 우회 |
| 사람 검토 없는 고위험 결정 | 고용, 금융, 주거, 의료, 법률 등에서 개인에게 중대한 결정을 자동화 |
정책은 서로 같은 문서가 아닙니다. 범주의 이름, 예외, 추가 조건이 회사마다 다르므로, 쓰는 서비스의 정책 원문을 직접 확인해야 합니다. 또 OpenAI는 자사 규칙이 법적 요건, 직업상 의무, 윤리적 책임을 대신하지 않는다고 밝힙니다. 정책이 허용한다고 법이나 사내 규정이 허용하는 것은 아닙니다. 사용 정책, 법률, 사내 규정은 따로 확인하는 세 개의 관문입니다.
고위험 영역: 사람의 의미 있는 검토와 고지
업무 현장에서 가장 자주 부딪히는 범주는 고위험 결정입니다. 세 회사의 표현을 나란히 보면 공통 원칙이 보입니다.
| 회사 | 정책의 요지(2026-10-20 확인) |
|---|---|
| OpenAI | 사람의 검토 없이 중요 기반 시설, 교육, 주택, 고용, 금융·신용, 보험, 법률, 의료, 필수 정부 서비스 등 민감한 영역의 중요한 결정을 자동화하는 데 쓸 수 없음 |
| 고위험 영역에서 사람의 감독 없이 개인의 권리에 중대한 불이익을 주는 자동 결정을 금지 | |
| Anthropic | 법률, 의료, 금융, 보험, 주거, 고용, 교육 등 고위험 영역의 권고나 결정에는 자격 있는 사람(법이 면허를 요구하면 면허 보유자)의 사전 검토와 AI 사용 고지를 요구. 보험금 지급처럼 개인에게 전적으로 유리한 일부 결정은 사전 검토 예외 |
세 회사의 공통점은 사람의 검토나 감독을 요구한다는 것이고, 자격 요건과 AI 사용 고지까지 명시한 곳은 Anthropic입니다. 이 책은 이를 묶어 두 가지 실무 원칙으로 권합니다. 첫째, 이런 영역에서 AI의 결과는 판단 재료일 뿐이고, 결정은 자격 있는 사람이 내용을 직접 살핀 뒤 내립니다. 결과를 열어 보지도 않고 승인 버튼만 누르는 것은 검토가 아닙니다. 정확도가 높다는 시험 결과도 이 원칙을 면제하지 않습니다. 둘째, 영향을 받는 사람에게 AI가 쓰였다는 사실을 알립니다.
핵심
고위험 영역인지 판단하는 질문은 하나입니다. "이 결과가 틀리면 누군가의 일자리, 돈, 집, 건강, 법적 지위가 영향을 받는가?" 그렇다면 사람의 검토 절차를 먼저 설계하세요.
AI임을 숨기지 않기
Anthropic은 고객과 대화하는 챗봇이라면 사용자에게 사람이 아니라 AI와 대화하고 있다는 사실을 알려야 한다고 정하고, 가짜 리뷰나 사람이라고 주장하는 봇을 금지 사례로 듭니다. Google은 속이려는 목적으로 생성물을 사람이 단독으로 만든 것처럼 출처를 꾸미거나, 고지 없이 실존 인물을 사칭하는 것을 금지합니다.
한국에는 이 원칙을 법으로 정한 조항이 있습니다. 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(이하 인공지능 기본법) 제31조는 인공지능사업자가 고영향 인공지능이나 생성형 인공지능을 이용한 제품·서비스를 제공할 때 그 사실을 이용자에게 미리 알리고, 생성형 인공지능의 결과물에는 생성되었다는 사실을 표시하며, 실제와 구분하기 어려운 가상의 음향·이미지·영상은 이용자가 명확히 알 수 있게 고지하거나 표시하도록 정합니다. 같은 법 제2조 제4호는 사람의 생명·신체의 안전과 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템으로서, 채용·대출 심사 같은 판단 등 법이 열거한 영역에서 활용되는 것을 고영향 인공지능으로 정의합니다.
이 의무는 AI 제품·서비스를 제공하는 사업자의 것이지만, 회사가 고객용 챗봇이나 AI 생성 콘텐츠를 내놓는다면 법무 담당자와 확인할 조항입니다. 상대가 AI라는 사실을 알았다면 다르게 행동했을 상황에서는 숨기지 않는 것이 출발점입니다.
데이터의 다섯 축
데이터 이야기에서 가장 많이 헷갈리는 것은 여러 설정을 하나로 묶어 생각하는 것입니다. 실제로는 적어도 다섯 개의 축이 따로 움직입니다.
| 축 | 묻는 질문 | 예 |
|---|---|---|
| 학습 사용 | 내 대화가 모델 개선에 쓰이는가 | 모델 개선 설정, 피드백 제출 |
| 보존 | 대화가 얼마나 오래 저장되는가 | 삭제 후 30일, 안전 목적 보관 |
| 사람 검토 | 회사 직원이나 검토자가 내용을 볼 수 있는가 | 품질 개선 검토, 남용 조사 |
| 관리자 접근 | 우리 조직 관리자가 내 대화를 볼 수 있는가 | 워크스페이스 관리 기능, 감사 기록 |
| 삭제 | 지우면 어디서, 언제 사라지는가 | 대화 삭제와 저장된 기억 삭제는 별개 |
하나의 축이 안전하다고 다른 축도 안전한 것은 아닙니다. "학습에 쓰지 않는다"는 첫째 축의 답일 뿐, 관리자가 볼 수 있는지나 얼마나 보관되는지에 대해서는 아무것도 말하지 않습니다. 대화창 밖의 경로도 따로 봅니다. 첨부 파일은 프로젝트에 남고, 피드백에는 대화 전체가 함께 갈 수 있으며, 기억 기능에 저장된 정보는 대화를 지워도 남을 수 있습니다. 공유 링크의 공개 범위도 제품과 플랜마다 다릅니다(예: ChatGPT Business의 링크는 같은 워크스페이스 구성원만 열 수 있음).
소비자용과 기업용 플랜
소비자용 플랜은 개인이 가입하는 무료·유료 플랜이고, 기업용 플랜은 조직이 계약해 구성원에게 제공하는 플랜입니다. 2026년 10월 20일 공식 문서로 확인한 주요 내용은 다음과 같습니다.
| 서비스 | 학습 사용 | 보존과 검토 | 관리자 |
|---|---|---|---|
| ChatGPT 개인용 | '모두를 위한 모델 개선'이 켜져 있으면 쓰일 수 있음. 끄면 새 대화는 쓰이지 않지만 저장된 대화가 지워지지는 않음. 끈 뒤에도 피드백을 보내면 그 대화 전체가 쓰일 수 있음 | 임시 채팅은 기록에 남지 않고 학습에 쓰이지 않지만 안전 목적으로 최대 30일 보관 가능 | 없음 |
| ChatGPT Business·Enterprise | 기본적으로 업무 데이터를 학습에 쓰지 않음(명시적으로 공유에 동의한 경우 제외) | 관리자가 보존 기간을 정함, 삭제한 대화는 30일 안에 제거(Enterprise는 법적 보존 의무, Business는 여기에 서비스·제3자 보호 목적의 예외) | Business 관리자는 구성원 대화를 보고 내보내고 삭제할 수 있음, Enterprise는 규정 준수 API로 감사 기록 접근 |
| Claude 개인용(Free·Pro·Max) | 사용자가 모델 개선 사용을 허용한 경우 등에 쓰임. 시크릿(Incognito) 채팅은 설정과 관계없이 쓰이지 않음 | 삭제한 대화는 30일 안에 제거, 허용 시 비식별 형태로 최대 5년, 피드백은 5년, 정책 위반으로 표시된 내용은 최대 2년 보관 | 없음 |
| Claude 업무용·API | 기본적으로 학습에 쓰지 않음(피드백 등 예외) | 계약과 설정에 따름 | 관리자가 피드백 기능을 끌 수 있음 |
| Gemini 앱(개인) | 활동 기록(Keep Activity)이 켜져 있으면 모델 학습에 쓰일 수 있음 | 일부 대화는 사람 검토자가 보며, 검토된 대화는 활동을 지워도 최대 3년 보관. 활동 기록을 끄거나 임시 채팅이면 계정에 72시간. 피드백을 보내면 관련 대화가 수집되고 검토분은 계정과 분리해 최대 3년 | 없음 |
| Google Workspace의 Gemini | 허락 없이 도메인 밖의 모델 학습에 쓰지 않음 | 사람이 검토하지 않음 | 기존 Workspace 접근 권한을 그대로 따름 |
Google은 Gemini 앱 안내에서, 검토자에게 보이고 싶지 않은 기밀은 넣지 말라고 직접 당부합니다.
주의
개인 계정에서 학습을 꺼도 회사의 보존 정책, 관리자 통제, 계약상 보호가 생기지는 않습니다. 업무 자료는 회사가 승인한 환경에서 다루는 것이 원칙입니다. 같은 회사의 유료 제품이라도 개인 플랜과 조직 플랜의 보호는 다릅니다. 로그인한 계정이 어느 쪽인지 먼저 확인하세요.
관리자 제어
관리자 제어는 조직의 관리자가 AI 도구를 조직 단위로 설정하고 감독하는 기능입니다. 기업용 플랜을 쓰는 가장 큰 이유가 여기에 있습니다. 공식 문서에 나오는 대표적인 제어는 다음과 같습니다.
| 제어 | 하는 일 |
|---|---|
| 통합 로그인(SSO)과 접근 관리 | 누가 조직 워크스페이스에 들어올 수 있는지 회사 계정 체계로 관리, 퇴사자 접근도 함께 회수 |
| 보존 기간 | 대화를 얼마나 오래 보관할지 조직이 결정 |
| 기능 켜고 끄기 | 웹 검색, 기억, 에이전트, 프로젝트 공유 등을 조직이나 역할 단위로 허용 |
| 커넥터 허용 | 어떤 외부 앱을 연결할 수 있는지, 도구별로 허용·승인·차단 |
| 감사와 내보내기 | 규정 준수를 위해 대화 기록이나 감사 기록에 접근 |
관리자 제어는 조직의 자료를 보호하는 장치이면서, 관리자가 구성원의 대화를 볼 수 있다는 뜻이기도 합니다. "기업용이니 아무도 못 본다"는 오해입니다. 학습에 쓰이지 않는 것과 관리자가 볼 수 없는 것은 다른 축입니다.
민감 정보 입력 판단
AI에 자료를 넣기 전에 정보의 종류만이 아니라 목적과 환경을 함께 봅니다. 다음 네 질문을 차례로 묻습니다.
- 이 정보가 작업에 꼭 필요한가? 요약에 전화번호가 필요 없다면 뺍니다.
- 이 환경은 회사가 승인한 곳인가? 개인 계정인지 조직 계정인지 확인합니다.
- 넣는 범위를 줄일 수 있는가? 필요한 열만, 필요한 기간만 넣습니다.
- 계약이나 사내 규정이 막고 있지 않은가? 고객과의 비밀유지 계약은 AI 도구에도 적용됩니다.
정보를 신호등으로 분류하면 판단이 빨라집니다.
| 신호 | 자료 예 | 원칙 |
|---|---|---|
| 초록 | 공개 보도자료, 공개 웹 문서, 직접 만든 가상 자료 | 승인된 도구라면 사용 |
| 노랑 | 내부 회의록, 미공개 기획안, 거래처 이름이 든 자료 | 회사가 승인한 기업용 환경에서만, 필요한 부분만 |
| 빨강 | 고객 개인정보, 주민등록번호, 건강 정보, 계약 원본, 비밀번호 | 꼭 필요한지 먼저 묻고, 필요하면 최소화한 뒤 승인된 환경에서만. 비밀번호와 인증 정보는 넣지 않음 |
데이터 최소화는 작업에 필요 없는 정보를 넣지 않는 원칙입니다. 신호등은 시작일 뿐이며, 노랑이나 빨강일 때 누구에게 확인할지(개인정보 담당자, 보안 담당자)를 사내 규칙으로 정해 두어야 합니다.
식별 가능성: 이름만 지우면 끝나지 않는다
개인정보 보호법 제2조는 개인정보를 살아 있는 개인에 관한 정보로서 성명이나 주민등록번호처럼 개인을 알아볼 수 있는 정보뿐 아니라, 그 정보만으로는 알아볼 수 없더라도 다른 정보와 쉽게 결합하여 알아볼 수 있는 정보까지 포함한다고 정합니다. 쉽게 결합할 수 있는지는 다른 정보를 구할 가능성과 알아보는 데 드는 시간, 비용, 기술을 합리적으로 고려해 판단합니다.
이 정의가 실무에 주는 메시지는 분명합니다. 이름만 지우고 부서, 직급, 입사 연도, 지역을 남기면 사내 사람은 누구인지 쉽게 알아볼 수 있습니다. 자유롭게 쓴 글 속의 "지난달 육아휴직에서 돌아온 저는" 같은 문장도 단서가 됩니다.
같은 법은 몇 가지 정보를 따로 다룹니다. 사상·신념, 노동조합·정당 가입, 정치적 견해, 건강, 성생활 등에 관한 민감정보(제23조), 법령에 따라 개인을 고유하게 구별하려고 부여한 고유식별정보(제24조), 그리고 주민등록번호(제24조의2)는 처리가 원칙적으로 제한됩니다. 이런 정보는 AI에 넣기 전에 반드시 담당자와 상의하세요.
가명처리는 개인정보의 일부를 지우거나 다른 값으로 바꿔 추가 정보 없이는 특정 개인을 알아볼 수 없게 하는 처리입니다(제2조 제1호의2). 가명처리한 정보(가명정보)도 법상 여전히 개인정보이므로, 가명처리했다고 AI에 마음대로 넣어도 되는 것은 아닙니다. 실무에서 식별 가능성을 낮추는 방법은 다음과 같습니다.
| 방법 | 예 | 주의 |
|---|---|---|
| 빼기 | 분석에 필요 없는 연락처, 주소 열 삭제 | 가장 확실함 |
| 바꾸기 | 이름을 '고객 A', '고객 B'로 대체 | 대응표가 함께 들어가면 다시 알아볼 수 있으므로 AI 밖에 따로 보관 |
| 묶기 | 생년월일을 연령대로, 주소를 시·도로 | 분석 목적에 맞는 수준으로 |
| 가상 자료 | 형식만 같은 가짜 자료로 지시문 시험 | 지시문 개발 단계에 유용 |
개인정보보호위원회는 2025년 8월 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」를 내고, 생성형 AI의 생애주기를 목적 설정, 전략 수립, 학습 및 개발, 적용 및 관리의 네 단계로 나눠 단계별 안전조치를 제시했습니다. 회사가 AI 서비스를 직접 만들거나 도입한다면 함께 읽어 볼 자료입니다.
문서 속 숨은 지시: 프롬프트 인젝션 기초
프롬프트 인젝션은 입력된 글이 모델의 동작을 의도하지 않은 방향으로 바꾸는 취약점입니다. 보안 단체 OWASP의 생성형 AI 위험 목록(2025년판)은 이를 첫 번째 위험으로 꼽고 두 가지로 나눕니다. 사용자가 직접 넣은 입력이 동작을 바꾸는 직접 인젝션과, 웹사이트나 파일 같은 외부 자료에 들어 있던 글이 동작을 바꾸는 간접 인젝션입니다. OWASP는 사람이 볼 수 없는 글이라도 모델이 읽어 들이면 영향을 줄 수 있다고 경고합니다. 화면에 보이지 않게 처리된 웹페이지 문구나 이미지 속 작은 글자도 모델에게는 읽히는 입력입니다.
비개발자에게 특히 중요한 것은 간접 인젝션입니다. AI에게 외부 메일, 웹페이지, 공급사 문서를 읽게 하는 일이 늘었기 때문입니다. 위험의 크기는 AI가 무엇을 할 수 있는지에 비례합니다. 요약만 해도 안전하지는 않습니다. OWASP는 숨은 지시가 담긴 웹페이지를 요약하게 했더니 모델이 외부 주소로 연결되는 이미지를 출력에 넣어 대화 내용이 새어 나간 사례를 듭니다. 메일을 보내거나 파일을 옮길 수 있는 AI라면 피해 범위는 더 커집니다. OWASP가 권하는 대책 가운데 사용자와 관리자가 이해해야 할 것은 다음과 같습니다.
- 외부 자료를 구분해 표시합니다. 신뢰할 수 없는 자료임을 표시해 영향을 줄입니다(2장의 자료 구분).
- 최소 권한을 줍니다. AI에게 작업에 필요한 최소한의 접근만 줍니다.
- 고위험 행동은 사람이 승인합니다. 발송, 결제, 삭제 앞에 사람의 확인을 둡니다.
- 이상한 결과를 보고합니다. 요약에 자료와 무관한 추천이나 요청이 섞여 있으면 담당자에게 알립니다.
출처 확인과 사실 검증
AI 생성물을 외부에 내보내기 전에는 원문과 대조합니다. 효과적인 절차는 다음과 같습니다.
- 주장 단위로 나눕니다. 결과물의 사실 주장, 숫자, 인용을 목록으로 뽑습니다.
- 주장마다 근거를 달게 합니다. 출처 이름과 해당 문단 또는 쪽 번호를 요구합니다.
- 출처를 직접 엽니다. 출처가 실재하는지, 그 문단이 정말 그 주장을 뒷받침하는지, 날짜·대상·조건이 같은지 확인합니다.
- 숫자는 다시 계산합니다. 비율과 합계는 원자료로 재계산합니다.
- 근거를 찾지 못한 주장은 빼거나 '확인 필요'로 표시합니다.
출처가 있다는 것과 주장을 뒷받침한다는 것은 다릅니다. 실재하는 기사를 인용했지만 기사의 내용이 다른 해의 통계일 수 있고, 다른 글을 다시 인용한 2차 자료일 수 있습니다. 가능하면 원자료(통계 원표, 법령 원문, 회사 공식 발표)까지 거슬러 올라갑니다.
검증처럼 보이지만 검증이 아닌 것도 있습니다. 같은 모델에게 "맞지?"라고 묻기, 문장이 매끄러우니 믿기, 다른 사람이 AI로 만든 결과와 결론이 같으니 믿기는 모두 외부 근거가 아닙니다.
저작권과 출처 표시는 다른 질문
AI 생성물을 외부에 쓸 때는 저작권 문제를 따로 확인합니다. 출처를 적었다고 이용 허락을 받은 것이 아니고, AI로 다시 썼다고 원래 표현의 권리 문제가 사라지는 것도 아닙니다. 확인할 질문은 세 가지입니다.
- 넣은 자료를 쓸 권한이 있는가? 남의 원고나 유료 보고서를 넣어 재가공하는 일은 원래 자료의 이용 조건을 따릅니다.
- 결과 속에 남의 표현이 들어 있지 않은가? 특정 작품이나 문구와 지나치게 비슷하면 쓰기 전에 확인합니다.
- 결과물을 우리 것으로 보호받을 수 있는가? 저작권법 제2조는 저작물을 '인간의 사상 또는 감정을 표현한 창작물'로 정의합니다. 방송통신위원회의 정책 안내도 AI가 자동으로 만든 결과물은 현행 저작권법의 보호 대상이 아니고, 사람이 창작적 표현을 더한 부분만 보호받을 수 있다고 설명합니다. 그 부분의 보호 여부와 범위는 사안마다 판단합니다.
AI 회사의 약관은 결과물의 권리를 이용자에게 넘긴다고 적는 경우가 많습니다. OpenAI도 기업용 서비스에서 법이 허용하는 한 고객이 출력을 소유한다고 밝힙니다. 그러나 이는 회사와 이용자 사이의 약속일 뿐, 결과물이 법적으로 보호받거나 남의 권리를 침해하지 않는다는 보증이 아닙니다. 로고, 상표, 출판물처럼 오래 쓰고 큰 비용이 드는 결과물은 쓰기 전에 법무 검토를 받으세요. 한국저작권위원회가 모아 둔 AI-저작권 안내서 4종도 참고할 수 있습니다.
편향과 고정관념 점검
모델은 학습한 자료에 담긴 사회의 편향을 닮습니다. 직업을 특정 성별과 연결하거나, 특정 지역이나 연령을 일정한 이미지로 그리는 일이 생깁니다. 내부 초안에서는 사소해 보여도, 채용 공고, 광고, 고객 안내처럼 외부로 나가는 결과물에서는 차별이나 평판 문제로 이어집니다.
점검은 사실 검증과 같은 자리에서 합니다. 외부 공개 전에 다음을 확인하세요. 사람을 묘사한 부분에서 성별, 연령, 장애, 출신의 구성이 실제 대상과 맞는가, 특정 집단을 일반화하는 표현이 없는가, 사람에 대한 평가나 점수에 쓰이는 결과라면 집단에 따라 결과가 한쪽으로 치우치지 않는가. 치우침이 보이면 지시에 원하는 구성을 명시하고, 결과를 사람이 고르고 고칩니다.
깊이 읽기
"학습에 쓰지 않는다"를 끝까지 읽는 법
데이터 정책 문서에서 가장 눈에 띄는 문장은 대개 "고객 데이터를 학습에 쓰지 않습니다"입니다. 이 문장을 읽고 멈추면 네 가지를 놓칩니다.
- 적용 대상: 그 문장이 어느 플랜, 어느 제품에 적용되는지 확인합니다. 같은 회사의 개인 플랜과 기업 플랜은 다르게 적혀 있는 경우가 많습니다.
- 기본값과 예외: '기본적으로'라는 말 뒤에는 예외가 있습니다. 명시적으로 공유에 동의하거나 피드백을 보내면 학습에 쓰일 수 있다는 단서가 흔합니다.
- 다른 축: 학습과 별개로 보존 기간, 안전 목적의 보관, 사람 검토, 관리자 접근이 어떻게 되는지 찾습니다.
- 연결된 경로: 첨부 파일, 연결 앱, 기억 기능, 공유 링크가 같은 규칙을 따르는지 확인합니다.
정책 문서는 자주 바뀝니다. 사내 안내 자료에 데이터 정책을 옮겨 적을 때는 원문 링크와 확인 날짜를 함께 적고, 일정 주기로 다시 확인하세요.
사고가 났을 때 첫 30분
민감한 자료를 잘못된 환경에 넣었다는 사실을 알았을 때 가장 나쁜 대응은 숨기거나 기록을 무작정 지우는 것입니다. 숨기면 회사가 대응할 시간을 잃고, 지우면 무엇이 노출되었는지 파악할 근거가 사라집니다. 첫 대응은 순서가 있습니다.
- 멈춥니다. 추가 입력, 공유, 에이전트 실행을 멈춥니다.
- 범위를 기록합니다. 어떤 자료를, 언제, 어느 계정과 서비스에 넣었는지 적습니다.
- 보고합니다. 사내 절차에 따라 보안 또는 개인정보 담당자에게 사실대로 알립니다. 개인정보 유출에 해당하면 회사는 개인정보 보호법 제34조에 따라 정보주체 통지와 신고를 지체 없이 해야 하므로, 보고가 늦을수록 회사의 의무 이행도 늦어집니다.
- 지시에 따라 정리합니다. 공유 해제, 대화와 저장된 기억의 삭제는 담당자의 안내에 따릅니다. 내 화면에서 지워도 서비스 제공자의 보관이 즉시 사라지지 않을 수 있습니다.
- 재발을 막습니다. 승인된 도구를 쓰기 쉽게 하고 입력 전 점검을 보완합니다.
실무 장면
단단물산 영업관리팀의 거래처 평가 보고서
산업용 부품 유통사 '단단물산' 영업관리팀의 장 과장은 분기 거래처 평가 보고서를 준비한다. 자료는 거래처 담당자 연락처가 담긴 계약 관리 대장과 지난 분기 납품 실적이다.
장 과장은 먼저 신호등으로 자료를 나눴다. 납품 실적은 내부 자료라 노랑, 담당자 연락처와 계약 단가는 빨강이다. 회사가 허가한 업무용 AI 환경이 따로 있으므로 개인 계정은 쓰지 않기로 했다. 다음으로 최소화를 했다. 평가에 필요한 것은 거래처명, 납기 준수율, 불량률뿐이라 연락처 열을 지운 사본을 만들어 넣었다. 계약 단가는 평가 기준에 없으므로 아예 넣지 않았다.
보고서 초안이 나오자 장 과장은 "각 거래처 평가 문장 옆에 근거가 된 실적 표의 행 번호를 적어라"라고 다시 요청했다. 한 거래처의 불량률이 실제보다 낮게 적혀 있었는데, 행 번호를 따라가 보니 다른 거래처의 값이 섞여 있었다. 장 과장은 이 문장을 고쳤고, 근거 행을 찾지 못한 '업계 평균 대비' 문장은 출처가 없어 삭제했다.
마지막으로 이 보고서가 거래 축소 같은 중대한 결정에 쓰일 수 있음을 생각해, 평가 점수는 참고 자료로만 제시하고 최종 판단은 팀장 회의에서 사람이 내린다고 보고서 첫머리에 적었다. AI가 쓰인 부분도 함께 밝혔다.
반듯시공 견적팀의 개인 계정 붙여넣기
인테리어 시공사 '반듯시공' 견적팀의 신입 홍 주임은 퇴근길 지하철에서 고객에게 보낼 견적 설명 메일을 다듬으려고, 개인 휴대폰의 무료 AI 앱에 견적서 내용을 붙여 넣었다. 견적서에는 고객 이름, 집 주소, 연락처, 공사 금액이 들어 있었다. 다음 날 아침 보안 수칙을 다시 읽다가 실수를 깨달았다.
홍 주임이 처음 떠올린 방법은 앱에서 그 대화를 지우고 아무에게도 말하지 않는 것이었다. 그러나 지우는 것만으로는 서비스 제공자의 보관이 즉시 사라지지 않을 수 있고, 숨기면 회사가 고객에게 필요한 조치를 할 기회를 잃는다고 판단해 그 방법을 버렸다. 두 번째로 떠올린 방법은 앱의 모델 개선 설정을 끄는 것이었는데, 그 설정은 학습 사용이라는 한 축만 바꿀 뿐 이미 넣은 자료의 보관이나 노출을 되돌리지는 못한다는 점에서 충분하지 않았다.
홍 주임은 대화를 지우기 전에 넣은 자료의 범위(고객 한 명의 견적서 전체), 시각, 앱 이름과 계정 종류를 메모하고, 팀장과 개인정보 담당자에게 알렸다. 담당자는 앱의 데이터 설정과 보관 정책을 공식 도움말에서 확인한 뒤, 대화 삭제와 피드백 미제출 여부 확인을 안내하고 사내 기록을 남겼다. 팀은 이 일을 계기로 회사 승인 도구를 휴대폰에서도 쓸 수 있게 설정하고, 견적서를 AI로 다룰 때는 고객 정보 칸을 지운 양식을 쓰도록 바꿨다. 사고를 줄인 것은 처벌이 아니라 빠른 보고와 쓰기 쉬운 승인 도구였다.
자주 틀리는 지점
- "학습을 끄면 기업용과 같다." 학습 설정은 다섯 축 중 하나일 뿐입니다. 보존, 사람 검토, 관리자 통제, 계약상 보호는 별개입니다.
- "임시 채팅은 아무 데도 남지 않는다." 임시 채팅도 안전을 위해 정해진 기간 동안 보관될 수 있습니다. ChatGPT는 최대 30일, Gemini 앱은 72시간으로 안내합니다.
- "이름만 지우면 익명이다." 다른 정보와 쉽게 결합해 알아볼 수 있으면 여전히 개인정보입니다. 연락처, 주소, 직급, 자유서술 속 단서를 함께 봅니다.
- "정확도가 높으면 자동으로 결정해도 된다." 고위험 영역에서는 정확도와 무관하게 자격 있는 사람의 의미 있는 검토가 필요합니다. 예외는 정책이 명시한 좁은 경우뿐입니다.
- "기업용이면 관리자도 못 본다." 기업용 플랜은 학습에 쓰지 않는 것이 기본이지만, 조직 관리자는 정책에 따라 대화에 접근할 수 있습니다.
- "요약만 시키면 숨은 지시는 상관없다." 왜곡된 요약도 피해이고, AI가 행동 권한을 가졌다면 위험이 커집니다. 외부 자료는 구분하고 권한은 최소로 줍니다.
- "출처 링크가 열리면 검증된 것이다." 출처가 실재해도 그 문단이 주장을 뒷받침하지 않을 수 있습니다. 주장 단위로 대조합니다.
- "약관이 결과물 권리를 준다고 했으니 상표로 써도 안전하다." 약관의 권리 조항은 보호나 비침해의 보증이 아닙니다. 오래 쓸 결과물은 법무 검토를 받습니다.
한눈에 정리
- 사용 정책의 공통 금지 범주는 불법·폭력, 아동 안전, 프라이버시 침해, 사기·기만, 보안 침해, 사람 검토 없는 고위험 결정입니다. 정책, 법률, 사내 규정은 따로 확인합니다.
- 고위험 영역에서는 자격 있는 사람이 내용을 보고 결정하고, 영향받는 사람에게 AI 사용을 알립니다.
- 고객용 챗봇은 AI임을 밝히고, 가짜 리뷰와 출처 꾸미기는 금지입니다. 인공지능 기본법 제31조는 사업자의 고지·표시 의무를 정합니다.
- 데이터는 학습 사용, 보존, 사람 검토, 관리자 접근, 삭제로 나눠 봅니다. 한 축이 안전하다고 다른 축이 안전하지 않습니다.
- 개인 계정의 학습 끄기는 기업용 보호를 대신하지 않습니다. 피드백은 학습을 끈 뒤에도 쓰일 수 있습니다.
- 입력 전 네 질문: 꼭 필요한가, 승인된 환경인가, 줄일 수 있는가, 계약과 규정이 막지 않는가.
- 개인정보는 다른 정보와 쉽게 결합해 알아볼 수 있는 정보까지 포함합니다. 빼기, 바꾸기, 묶기, 가상 자료로 식별 가능성을 낮춥니다.
- 외부 자료 속 숨은 지시는 구분 표시, 최소 권한, 고위험 행동 승인으로 대비합니다.
- 검증은 주장 단위로: 출처 열기, 문단 대조, 숫자 재계산, 근거 없으면 삭제나 '확인 필요'. 1장의 그라운딩도 이 확인을 대신하지 않습니다.
- 저작권은 출처 표시와 별개이며, 외부 공개 전에는 편향도 함께 점검합니다.
공식 문서로 확인하기
- OpenAI — Usage policies: 금지 범주, 사람 검토 없는 민감 영역 결정 자동화 금지.
- Anthropic — Usage Policy: 고위험 사용의 사람 검토와 고지, 챗봇의 AI 고지.
- Google — Generative AI Prohibited Use Policy: 고위험 자동 결정 제한, 출처 꾸미기 금지.
- OpenAI — Data controls in ChatGPT / Enterprise privacy: 개인용 학습 설정, 임시 채팅, 피드백, 기업용 학습 미사용과 관리자 접근.
- Anthropic — Is my data used for model training?: Claude 개인용 학습 사용과 시크릿 채팅.
- Google — Gemini Apps Privacy Hub: 사람 검토와 보존 기간.
- OWASP — LLM01:2025 Prompt Injection: 직접·간접 인젝션과 대책.
셀프 체크
4-1. 세 회사의 사용 정책에 공통으로 들어 있는 금지 범주 세 가지를 쓰라.
4-2. AI 서비스의 데이터 처리를 따질 때 서로 따로 움직이는 축 다섯 가지를 쓰라.
4-3. 다음 자료를 초록·노랑·빨강으로 분류하라: 회사 홈페이지에 게시된 채용 공고, 다음 분기 출시 예정 제품의 미공개 가격표, 임직원 건강검진 결과 목록.
4-4. 팀별 연차 사용 현황표에서 이름 열만 지우고 부서, 직급, 입사 연도 열은 남겼다. 이 표가 여전히 개인정보일 수 있는 이유를 개인정보 보호법의 개인정보 정의를 근거로 설명하라.
4-5. 개인 계정에서 모델 개선 사용을 꺼 두었는데도 대화가 학습에 쓰일 수 있게 만드는 사용자 행동 하나를 쓰고, 그 행동이 왜 예외가 되는지 설명하라.
4-6. AI가 만든 시장 분석 메모에 실제로 존재하는 기사 링크가 출처로 달려 있다. 링크가 열린다는 사실만으로 검증이 끝나지 않는 경우 두 가지를 쓰라.
4-7. 직원 30명 회사의 'AI 사용 수칙'을 다섯 줄로 설계하라. 승인 도구, 입력 금지 정보, 검증, 고위험 결정, 사고 보고가 모두 들어가야 한다.
실습 과제
실습
내 AI 데이터 설정 점검표 만들기 (40분)
- 지금 쓰는 AI 도구를 모두 적고, 개인 계정과 회사 계정을 구분한다.
- 도구마다 다섯 축(학습 사용, 보존, 사람 검토, 관리자 접근, 삭제)의 현재 상태를 공식 도움말에서 찾아 표에 적고, 원문 링크와 확인 날짜를 붙인다.
- 지난주 AI에 넣은 자료 세 가지를 신호등으로 분류하고, 각 자료를 적절한 도구에서 다뤘는지 표시한다.
- 맞지 않는 사례가 있으면 바꿀 방법(도구 변경, 최소화, 담당자 확인)을 한 줄씩 쓴다.
완료 기준: 모든 도구의 다섯 축이 공식 문서 링크와 함께 채워져 있고, 신호등 분류에 따른 조치가 하나 이상 적혀 있다.
실습
주장별 검증표 만들기 (50분)
- 공개 자료(공공기관 통계 발표, 기업 공식 보도자료 등)를 주제로 AI에게 한 쪽짜리 요약 보고를 쓰게 한다.
- 결과에서 사실 주장, 숫자, 인용을 열 개 이상 뽑아 표의 행으로 만든다.
- 행마다 출처를 열어 '출처 실재', '문단이 뒷받침', '날짜·대상 일치', '숫자 재계산 일치'를 확인해 표시한다.
- 하나라도 통과하지 못한 주장은 고치거나 지우고, 사람을 묘사한 표현에 편향이 없는지도 확인한다.
완료 기준: 열 개 이상의 주장에 네 가지 확인 결과가 모두 표시되어 있고, 고치거나 지운 주장과 그 이유가 적힌 최종본이 있다.