4장. AI 콘텐츠 성과 측정

학습 목표

• 성과 측정의 질문을 실험 가능한 형태로 바꾸고, 핵심 지표의 정의(분자·분모·단위)와 기준선을 정한다.
• 무작위 배정과 동시 비교로 AI 콘텐츠와 사람 콘텐츠를 공정하게 비교하는 실험을 설계한다.
• 유의 수준, 검정력, 잡으려는 최소 차이로 표본 크기를 정하는 원리를 설명한다.
• 반복 확인, 배정 비율 불일치, 다중 비교, 새로움 효과, 보호 지표 무시 같은 측정 오류를 찾아낸다.
• 코드 채점, 사람 채점, LLM 채점을 기준의 성격에 맞게 고르고 LLM 채점의 신뢰도를 먼저 검증한다.
• 성과 보고서의 과장된 해석을 측정한 범위 안으로 고쳐 쓴다.

들어가며

"AI 문구로 바꿨더니 클릭률이 40% 올랐습니다." 이런 보고는 회의실 분위기를 단번에 띄웁니다. 그런데 몇 가지를 물으면 분위기가 달라집니다. 지난달과 이번 달을 비교했나요, 같은 기간에 나눠 보냈나요? 클릭률은 무엇으로 나눈 값인가요? 그 사이에 할인 행사는 없었나요? 몇 명에게 보냈고, 결과를 언제 봤나요? 수신거부는 어떻게 됐나요?

AI는 콘텐츠를 무한히 만들 수 있게 해 주었고, 그만큼 "어느 것이 정말 나은가"를 가려내는 일이 중요해졌습니다. 그러나 측정이 서툴면 AI 도입의 효과를 과장하거나, 반대로 실제 효과를 놓칩니다. 더 위험한 것은 잘못된 측정이 잘못된 학습을 낳는다는 점입니다. 우연히 이긴 문구를 '정답'으로 삼아 다음 프롬프트를 만들면, 조직 전체가 우연을 따라 움직이게 됩니다.

측정은 법과도 맞닿아 있습니다. 실험군에게 보내는 메시지도 광고이고, 수신거부가 늘면 다시 보낼 수 없는 고객이 생기며, 품질 평가에 고객 데이터를 쓰면 개인정보 처리가 됩니다. 그래서 이 장의 측정 원칙은 1장과 3장의 규칙 위에서 작동합니다.

이 장은 실험의 기본 문법(질문, 지표, 기준선, 무작위 배정), 통계의 최소한(유의 수준, 검정력, 표본 크기), 실무에서 자주 생기는 측정 오류, 그리고 AI 콘텐츠의 품질을 평가하는 방법을 다룹니다. 수식보다 판단을 중심에 두고, 공식 문서로 확인할 수 있는 원칙만 썼습니다.

핵심 개념

무엇을 증명하려는가

측정은 질문에서 시작합니다. "AI 문구가 좋은가?"는 실험할 수 없는 질문입니다. 실험할 수 있게 바꾸면 이렇게 됩니다. "같은 기간, 같은 고객군에게 보낸 앱 푸시에서, AI가 쓴 문구가 기존 문구보다 7일 안 구매 전환율을 높이는가?"

좋은 실험 질문에는 네 요소가 있습니다.

핵심 지표는 실험 전에 하나로 정합니다. 실험이 끝난 뒤 여러 지표 가운데 좋아 보이는 것을 고르면, 그것은 측정이 아니라 사후 해석입니다.

지표 정의: 분자, 분모, 단위

같은 이름의 지표도 정의가 다르면 비교할 수 없습니다. 클릭률을 예로 들면 분모가 '발송 수'인지 '열람 수'인지에 따라 값이 몇 배 달라집니다. 열람 기준 클릭률은 이미 관심을 보인 사람만 분모에 넣으므로 발송 기준보다 높게 나옵니다.

단위도 맞춰야 합니다. Statsig 문서는 무작위 배정의 단위(사용자, 기기 등)가 같은 값에는 언제나 같은 변형을 보여 주고, 그 단위가 지표의 기준 단위가 된다고 설명합니다. 사람 단위로 배정했다면 지표도 사람별로 집계해 비교합니다. 이때 '클릭한 사람의 비율'은 한 사람의 중복 클릭을 한 번으로 세고, '사람당 클릭 수'는 반복 클릭을 모두 셉니다. 둘 다 쓸 수 있지만 어느 쪽인지 정하고, 두 집단에 같은 정의를 적용해야 합니다.

기준선과 성공 기준

기준선은 비교의 출발점, 곧 지금의 성과입니다. Claude 평가 문서는 성공 기준을 구체적이고 측정 가능하며 달성 가능하게 정하라고 하고, 그 예로 현재 기준선 대비 일정 비율의 개선을 듭니다. 기준선은 두 가지로 씁니다.

1. 표본 크기 계산: 기존 전환율이 2.0%인지 10%인지에 따라 같은 개선을 잡는 데 필요한 표본이 달라집니다.
2. 의사결정 기준: "기준선보다 얼마나 나아져야 바꿀 가치가 있는가"를 미리 정합니다.

주의할 점은 기준선을 비교 대상으로 쓰는 것입니다. "지난달 성과가 기준선이니 이번 달 AI 문구 성과와 비교하자"는 설계는, 두 달 사이에 바뀐 모든 것(계절, 행사, 가격, 경쟁 상황)을 AI 문구의 효과로 착각하게 만듭니다.

무작위 배정과 동시 비교

공정한 비교의 핵심은 두 집단이 문구 말고는 모든 면에서 같도록 만드는 것입니다. 그 방법이 무작위 배정입니다. Statsig 문서는 사용자를 대조군과 하나 이상의 처치군으로 나눠 각각 다른 변형을 보여 주고, 무작위 배정으로 각 집단이 고르게 대표되도록 해서 변형의 성과를 비교한다고 설명합니다.

무작위 배정이 지켜 주는 것은 보이지 않는 차이입니다. VIP 회원에게 AI 문구를, 일반 회원에게 사람 문구를 보내면 구매력 차이가 문구 효과처럼 보입니다. 저녁에 AI 문구를, 오전에 사람 문구를 보내면 시간대 효과가 섞입니다. 무작위로 나누고 같은 시간, 같은 채널로 보내면 이런 차이가 두 집단에 똑같이 퍼집니다.

한 번에 하나만 바꾸기

Statsig 문서는 A/B 테스트에서 한 실험에 둘 이상의 변화를 넣지 말라고 합니다. AI 문구 실험에서 흔히 섞이는 변화는 다음과 같습니다.

• 문구와 함께 이미지, 쿠폰 금액, 발송 시간도 바꾸는 경우
• AI 문구 쪽에만 개인화 데이터를 넣는 경우(이때 비교되는 것은 'AI 대 사람'이 아니라 '개인화 대 비개인화')
• AI 문구를 새 채널(예: 앱 푸시)로, 사람 문구를 기존 채널(전자우편)로 보내는 경우

무엇을 비교하고 싶은지 먼저 정하세요. 'AI가 쓴 문구 자체'의 효과를 보려면 같은 정보를 넣고 쓴 사람만 달리해야 하고, 'AI 개인화 캠페인 전체'의 효과를 보려면 그 묶음 전체를 하나의 처치로 정의하고 그렇게 보고해야 합니다.

유의 수준, 검정력, 표본 크기

통계 검정에는 두 가지 오류 위험이 있습니다. NIST/SEMATECH 통계 핸드북은 이렇게 설명합니다. 실제로는 차이가 없는데 차이가 있다고 결론 내리는 위험을 α(유의 수준)라 하고, 검정은 이 위험이 작도록 만들어집니다. 실제로 차이가 있는데 찾지 못하는 위험을 β라 하며, 이 위험은 실제 차이의 크기 등에 따라 정해지고, 표본 크기가 같다면 α를 줄일수록 β는 커집니다. 1−β를 검정력이라 부릅니다. 표본을 늘리면 두 위험을 함께 낮출 수 있습니다.

결과를 읽을 때 쓰는 두 도구도 알아 두세요. p값은 실제로 차이가 없다고 가정했을 때 지금처럼(또는 더 극단적으로) 차이가 나올 확률이고, α보다 작으면 유의하다고 판단합니다. 신뢰구간은 실제 차이가 있을 법한 범위를 나타내며, 두 집단 차이의 95% 신뢰구간이 0을 포함하지 않으면 유의 수준 5%에서 유의하다고 봅니다.

표본 크기는 이 두 위험과 잡으려는 최소 차이(δ)로 정해집니다. NIST 핸드북의 예에서는 불량률이 10%에서 20%로 오르는 변화를 단측 검정, α 5%, β 10%로 잡으려 할 때 최소 표본이 약 102개, 연속성 보정을 하면 112개로 계산됩니다. 이 예는 한 공정의 불량률을 기준값과 비교하는 1표본 검정입니다. 두 집단을 비교하는 A/B 실험은 두 집단의 변동이 모두 반영되므로 같은 조건이라도 더 많은 표본이 필요합니다. 이 예가 주는 직관은 세 가지입니다.

1. 잡으려는 차이가 작을수록 필요한 표본이 커집니다. 표본 크기는 대략 잡으려는 차이(δ)의 제곱에 반비례하므로, 차이를 절반으로 줄이면 표본은 네 배 가까이 필요합니다.
2. 기준값이 낮은 지표(전환율 2%)에서 작은 개선(0.2%p)을 잡으려면 집단마다 수만 명 단위가 필요할 수 있습니다.
3. 표본이 부족한 실험의 "유의하지 않음"은 "효과 없음"이 아니라 "판단할 근거 부족"입니다.

반복 확인과 순차 검정

실험을 시작하면 매일 결과를 열어 보고 싶어집니다. 문제는 그 결과로 결정을 내리는 것입니다. Statsig 문서는 전통적인 A/B 테스트(전환율 같은 비율 지표에는 주로 z 검정, 매출액 같은 연속형 지표에는 t 검정)가 미리 정한 표본에 도달했을 때 한 번만 판정하도록 설계된 고정 표본(fixed-horizon) 검정이고, 지속적으로 들여다보는 것(peeking)이 거짓 양성 비율을 정한 유의 수준보다 높인다고 설명합니다. 빈도주의 절차에서 이른 결정은 거짓 양성 비율을 높이는 쪽으로만 작용합니다.

해결책은 둘 중 하나입니다. 미리 계산한 표본에 도달할 때까지 결론을 미루거나, 처음부터 반복 확인을 전제로 설계된 순차 검정(sequential testing)을 쓰는 것입니다. 순차 검정은 이른 시점의 결과를 읽을 수 있도록 p값과 신뢰구간을 조정합니다. 중간 결과를 보는 것 자체는 괜찮습니다. 데이터가 깨졌는지 점검하는 일은 오히려 필요합니다. 문제는 고정 표본 검정의 중간 결과로 승자를 정하는 것입니다.

배정 비율 불일치(SRM)

50:50으로 나눴는데 실제 인원이 41:59로 나왔다면 결과를 읽기 전에 멈춰야 합니다. Statsig 문서는 배정 비율 불일치(Sample Ratio Mismatch, SRM)를 각 집단의 인원이 설정한 비율과 무작위로 설명할 수 있는 정도를 넘어 다른 상태로 정의하고, 카이제곱 검정으로 찾아낸다고 설명합니다. SRM은 대개 무작위가 아니어서, 빠지거나 더해진 사람들이 원래 집단과 같지 않습니다.

문서가 드는 원인은 이렇습니다. 노출 기록을 보내기 전에 앱이나 브라우저가 멈추는 버그, 특정 집단에서만 노출을 거르는 조건, 집단별로 차례로 노출 기록을 보내다 일정 수를 넘으면 기록이 잘리는 스크립트. AI 문구 실험이라면 한쪽 변형에서만 특정 기기나 앱 버전의 노출 기록이 빠지는 경우도 생각할 수 있습니다. 원인을 찾기 전에는 결과를 결론에 쓰지 마세요.

다중 비교

AI로 문구 변형을 열두 개 만들어 기존 문구와 각각 비교했더니 하나가 유의하게 나왔다고 합시다. NIST 핸드북은 가능한 모든 쌍에 비교 절차를 반복하면 전체 유의 수준이 한 쌍을 비교할 때와 달라진다고 설명합니다. 비교를 많이 할수록 우연히 '유의한' 결과가 하나쯤 나올 가능성이 커집니다.

대응 방법은 세 가지입니다. 실험 전에 비교할 것을 줄이고 정해 둡니다. 비교 횟수를 고려해 유의 수준을 보정합니다(핸드북은 미리 정한 대비에 본페로니 방법 등을 소개합니다. 본페로니 방법은 전체 유의 수준을 비교 횟수로 나눠 각 비교의 기준을 엄격하게 하는 방식입니다). 그리고 이긴 변형을 새 실험으로 다시 확인합니다. AI가 변형을 쉽게 많이 만들어 줄수록 이 문제는 커집니다.

새로움 효과와 실험 기간

새 문구나 새 배너는 처음에 호기심 때문에 반응이 커졌다가 시간이 지나며 줄어들 수 있습니다. 이것을 새로움 효과(novelty effect)라 합니다. Statsig 문서는 새로움 효과와 적응 시간을 고려해 실험을 더 긴 기간 운영하라고 권합니다.

판단 방법은 평균이 아니라 추이를 보는 것입니다. 주별 상대 상승률이 35%, 14%, 6%, 2%로 줄고 있다면 4주 평균 14%는 장기 효과를 과대평가할 수 있습니다. 주별 수치에도 불확실성이 있으므로 추이와 신뢰구간을 함께 봅니다. 효과가 평탄해지는 수준까지 기간을 늘리거나, 그 수준을 기준으로 판단하세요.

보호 지표

보호 지표(guardrail metric)는 핵심 지표를 끌어올리는 동안 사업의 건강을 해치지 않는지 지켜보는 지표입니다. Statsig 용어집은 보호 지표를 사업의 건강을 측정하고 유지하도록 설계된 지표로 설명합니다.

AI 마케팅에서 대표적인 보호 지표는 수신거부율, 앱 알림 끄기 비율, 스팸 신고, 반품률, 고객 문의 증가, 브랜드 톤 위반 비율입니다. 보호 지표마다 허용 한계를 실험 전에 정해 둡니다. 특히 수신거부율은 법적 의미가 큽니다. 정보통신망법 제50조제2항에 따라 수신을 거부한 사람에게는 다시 광고를 보낼 수 없으므로, 수신거부 증가는 새로 명시적 동의를 받기 전까지 광고 도달 범위를 줄이는 비용입니다. 자극적인 AI 문구가 클릭률을 올리면서 수신거부율도 올렸다면, 클릭률만 보고 전환해서는 안 됩니다.

통계적 유의성과 사업적 의미

표본이 아주 크면 아주 작은 차이도 통계적으로 유의해집니다. 100만 명에게 보내 클릭률이 0.03%p 높게 나왔고 유의했다면, 그 차이는 "우연은 아닐 것"이라는 뜻일 뿐 "바꿀 가치가 있다"는 뜻은 아닙니다. 효과의 크기를 AI 문구의 생성·검수 비용, 운영 위험과 함께 따져야 합니다.

그래서 실험 전에 사업적으로 의미 있는 최소 차이를 정해 두는 것이 중요합니다. 이 값이 표본 크기 계산의 δ가 되고, 결과를 읽을 때의 판단 기준이 됩니다.

AI 콘텐츠 품질 평가: 코드, 사람, LLM

성과 실험은 고객 반응을 재고, 품질 평가는 콘텐츠 자체가 기준을 지키는지 잽니다. AI가 매주 수천 개의 문구를 만든다면 품질 평가도 규모에 맞아야 합니다. Claude 평가 문서는 채점 방법을 셋으로 나눕니다.

문서가 드는 LLM 채점 요령은 세 가지입니다. 상세하고 명확한 루브릭을 줍니다. 출력을 '통과/불통과'나 1~5점처럼 구체적인 형식으로 받습니다. 채점 모델이 점수를 내기 전에 추론하게 합니다. 또 문서는 평가 대상 결과를 만든 모델과 다른 모델로 평가하는 것을 일반적인 모범 사례로 듭니다. 같은 모델이 자기 문구를 채점하면 같은 착각을 반복하기 쉽기 때문입니다.

성과 보고서 고쳐 쓰기

보고서의 과장은 대개 다섯 가지 형태입니다.

원칙은 "측정한 지표, 대상, 기간 안에서만 결론을 쓴다"입니다. 확인되지 않은 것은 '확인되지 않았다'고 쓰는 것이 정직한 보고입니다.

깊이 읽기

'AI 대 사람' 비교는 무엇을 비교하는가

실무에서 'AI 문구 대 사람 문구' 실험은 생각보다 정의가 어렵습니다. 사람이 AI 초안을 고쳤다면 그것은 AI 문구인가요, 사람 문구인가요? 프롬프트를 바꾸면 같은 'AI 문구'라도 다른 처치가 됩니다. 사람 카피라이터도 매번 같은 품질이 아닙니다.

그래서 실험을 설계할 때는 처치를 작업 방식으로 정의하는 것이 좋습니다. 예를 들어 "브랜드 가이드 v3 지시문으로 AI가 쓰고 담당자가 사실 주장만 검수한 문구" 대 "카피라이터가 처음부터 쓴 문구"처럼 적습니다. 결과에는 문구의 반응뿐 아니라 제작 시간과 검수 비용, 보호 지표를 함께 적어야 의사결정에 쓸 수 있습니다. AI 문구의 반응이 같아도 제작 비용이 절반이라면 그것도 의미 있는 결론입니다.

개인화 콘텐츠의 실험 단위

AI가 고객마다 다른 문구를 쓰면 '문구 A 대 문구 B'라는 비교가 성립하지 않습니다. 이때 비교하는 것은 개별 문구가 아니라 문구를 만드는 방식(정책)입니다. 처치군은 "개인화 정책으로 만든 문구를 받는 사람들", 대조군은 "공통 문구를 받는 사람들"이고, 배정 단위는 사람입니다.

이 설계에서 주의할 점은 두 가지입니다. 첫째, 처치군 안에서 문구가 제각각이므로 "어떤 문장이 효과가 있었는가"는 이 실험으로 알 수 없습니다. 둘째, 개인화에 쓴 데이터가 처치의 일부이므로, 그 데이터를 쓸 근거(3장)가 처치군 전체에 대해 확인되어야 합니다.

실험도 광고이고 개인정보 처리다

실험군에게 보내는 메시지도 광고입니다. 실험이라는 이유로 표시광고법의 실증 의무나 정보통신망법의 전송 규칙이 사라지지 않습니다. 더 공격적인 문구를 '테스트'해 보고 싶다면, 그 문구에 들어간 사실 주장은 이미 실증할 수 있어야 하고, 실험 대상자마다 수신 동의나 거래관계 같은 법정 예외를 확인하고, 매체별 야간 규칙을 지켜야 합니다. 실험 데이터 분석에 고객 정보를 외부 도구로 넘긴다면 처리위탁인지 제3자 제공인지 구분해 해당 요건을 적용하고, 국외 이전 여부도 확인합니다. 측정의 엄밀함과 법의 준수는 같은 계획서에 함께 적혀야 합니다.

실무 장면

한입베이글: 앱 푸시 문구 실험

베이글 프랜차이즈 '한입베이글'의 앱 마케터는 AI가 쓴 아침 푸시 문구를 시험하고 싶었다. 첫 제안은 "다음 주 월요일부터 모든 회원에게 AI 문구를 보내고, 지난주 성과와 비교하자"였다. 데이터 담당자는 다음 주에 신메뉴 출시가 겹친다는 점을 들어 기간 비교를 기각했다.

두 사람은 실험 계획서를 함께 썼다. 대상은 최근 60일 안에 앱을 연 회원, 배정은 회원 단위 50:50 무작위, 발송은 같은 날 같은 시각(오전 8시 30분, 오후 9시~오전 8시의 야간 시간대가 끝난 뒤)으로 정했다. 핵심 지표는 발송 후 당일 오전 11시까지의 모바일 주문 전환율(발송 기준)로 하나만 정했고, 보호 지표로 수신거부율과 앱 알림 끄기 비율을 두었다. 기존 전환율은 3.2%였고, 팀은 0.4%p 이상 오르면 바꿀 가치가 있다고 보았다. 이 값으로 계산한 필요 표본에 맞춰 실험 기간을 2주로 잡았다.

실험 사흘째 AI 문구 쪽 전환율이 4.1%로 앞서자 팀장이 조기 종료를 원했다. 데이터 담당자는 고정 표본 설계를 중간에 멈추면 거짓 양성 위험이 커진다고 설명하고, 대신 배정 비율이 50:50과 맞는지만 점검했다. 비율은 정상이었다. 2주 뒤 결과는 전환율 0.5%p 상승(신뢰구간이 0을 포함하지 않음), 수신거부율은 차이 없음이었다. 보고서에는 "최근 60일 활성 회원 대상, 2주 실험" 범위와 주별 추이(효과가 2주 동안 유지됨)를 함께 적었다. AI가 함께 만든 변형 여덟 개를 한꺼번에 시험하자는 제안은 다중 비교 문제를 이유로 다음 실험으로 미뤘다.

여행잇다: 뉴스레터 문구의 LLM 채점 도입

여행 플랫폼 '여행잇다'는 AI로 매주 뉴스레터 제목과 소개 문구 2천 개를 만들고, 브랜드 담당자 두 명이 그중 200개만 표본으로 읽어 왔다. 담당자는 LLM으로 나머지도 채점하고 싶었다.

먼저 기준을 나눴다. '금지 표현(최저가 보장, 100% 환불 등)이 들어 있는가'와 '제목이 40자 이내인가'는 코드로 검사하기로 했다. '브랜드 톤에 맞는가'와 '과장된 약속이 있는가'는 판단이 필요해 LLM 채점 대상으로 정했다. 담당자는 브랜드 톤을 '통과/불통과'로 가를 수 있게 루브릭으로 풀어 썼다. "독자에게 반말을 쓰지 않는다", "감탄사는 문장마다 하나 이하", "확인되지 않은 수치를 쓰지 않는다" 같은 항목이었다.

다음으로 담당자 두 명이 이미 채점한 문구 400개에 같은 루브릭으로 LLM 채점을 돌렸다. 일치율은 첫 시도에 81%였다. 불일치 사례를 보니 루브릭의 '과장' 항목이 모호했다. 항목을 예시와 함께 고친 뒤 일치율은 93%로 올랐고, 팀이 미리 정한 기준(90%)을 넘었다. 통과 판정이 대부분인 자료에서는 모두 '통과'라고만 해도 일치율이 높게 나올 수 있어, 담당자는 사람이 '불통과'로 본 문구를 LLM도 불통과로 잡아낸 비율(87%)을 따로 확인했다. 그제야 전체 2천 개에 LLM 채점을 적용했고, 문구를 만든 모델과 다른 모델을 채점에 썼다. 매달 무작위 표본 100개를 담당자가 다시 채점해 일치율이 떨어지지 않는지 점검하는 규칙도 넣었다. 처음부터 전체에 적용하자는 의견, 문구를 만든 모델에게 스스로 채점하게 하자는 의견은 각각 신뢰도 확인 전 확대와 자기 평가의 위험을 이유로 기각했다.

자주 틀리는 지점

1. "지난달과 이번 달을 비교하면 AI 효과를 알 수 있다." 기간 사이에 바뀐 모든 것이 섞입니다. 같은 기간에 무작위로 나눠 동시에 비교해야 합니다.
2. "클릭률은 클릭률이다." 분모(발송·열람)와 단위(사람·클릭)가 다르면 비교할 수 없습니다.
3. "중간에 유의하게 나오면 일찍 끝내도 된다." 고정 표본 검정을 중간에 읽고 결정하면 거짓 양성이 늘어납니다. 순차 검정을 쓰거나 계획한 표본까지 기다립니다.
4. "유의하지 않으면 효과가 없다." 표본이 부족하면 효과가 있어도 찾지 못합니다. 잡으려는 차이로 표본을 다시 계산하세요.
5. "배정 비율이 조금 어긋나도 결과는 쓸 수 있다." 배정 비율 불일치는 알 수 없는 편향의 신호입니다. 원인을 찾기 전에는 결론에 쓰지 않습니다.
6. "변형을 많이 만들수록 좋은 문구를 찾는다." 비교가 많을수록 우연한 승자가 나옵니다. 보정하거나 다시 확인해야 합니다.
7. "통계적으로 유의하면 바꿀 가치가 있다." 큰 표본에서는 아주 작은 차이도 유의합니다. 효과 크기와 비용을 함께 봅니다.
8. "LLM 채점은 사람만큼 정확하니 바로 전체에 쓴다." 루브릭을 주고 사람 채점과의 일치도를 먼저 확인한 뒤 확대하며, 생성한 모델에게 자기 결과를 채점하게 하지 않습니다.

한눈에 정리

공식 문서로 확인하기

• NIST/SEMATECH e-Handbook — 7.1.3 What are statistical tests?: α와 β의 의미와 관계.
• NIST/SEMATECH e-Handbook — 7.2.4.2 Sample sizes required: 잡으려는 변화 δ, α, β로 표본 크기를 계산하는 예.
• NIST/SEMATECH e-Handbook — 7.4.7 How can we make multiple comparisons?: 반복 비교가 전체 유의 수준을 바꾸는 문제와 보정 방법.
• Statsig Docs — Experiments Overview: 대조군과 처치군, 무작위 배정, 배정 단위, 한 번에 하나의 변화.
• Statsig Docs — Sequential testing: 고정 표본 검정과 반복 확인(peeking) 문제, 순차 검정.
• Statsig Docs — Sample ratio mismatch: 배정 비율 불일치의 정의, 탐지, 원인.
• Statsig Docs (legacy) — Experiments Overview: 새로움 효과와 실험 기간.
• Claude Docs — Define success criteria and build evaluations: 성공 기준, 코드·사람·LLM 채점의 장단점, LLM 채점 요령.

셀프 체크

4-1. "AI 문구가 더 좋은가?"라는 질문을 실험 가능한 질문으로 바꿔 쓰고, 그 질문에 들어간 네 요소를 표시하라.

4-2. 열람 기준 클릭률과 발송 기준 클릭률이 섞인 보고서가 왜 비교에 쓸 수 없는지 설명하라.

4-3. 표본 크기를 정하는 세 가지 요소를 쓰고, 잡으려는 차이를 절반으로 줄이면 필요한 표본이 어떻게 변하는지 설명하라.

4-4. 실험 도중 결과를 들여다보는 행위 가운데 해도 되는 것과 해서는 안 되는 것을 하나씩 들고 이유를 쓰라.

4-5. AI 문구의 클릭률은 올랐지만 수신거부율이 두 배가 되었다. 이 결과를 어떻게 판단해야 하는지 보호 지표의 개념과 정보통신망법의 관계를 들어 설명하라.

4-6. LLM으로 브랜드 톤을 채점하기 전에 해야 할 일 세 가지를 Claude 평가 문서의 권고에 맞춰 쓰라.

4-7. (설계) AI 개인화 문자와 공통 문자를 비교하는 실험 계획서의 항목(질문, 대상, 배정, 지표, 보호 지표, 표본, 기간, 판단 기준, 법적 확인)을 채워 쓰라.

실습 과제