第4章 AIコンテンツの成果測定

学習目標

• 成果測定の問いを実験可能な形に変え、コア指標の定義（分子・分母・単位）とベースラインを定めます。
• 無作為割り付けと同期間の比較によって、AIコンテンツと人間のコンテンツを公平に比較する実験を設計します。
• 有意水準、検出力、検出すべき最小の差からサンプルサイズを決定する原理を説明します。
• 繰り返しの確認、割り付け比率の不一致、多重比較、新規性効果、ガードレール指標の無視といった測定の誤りを見つけ出します。
• コードによる採点、人間による採点、LLMによる採点を基準の性質に合わせて選択し、LLMによる採点の信頼性を事前に検証します。
• 成果報告書における誇張された解釈を、測定された範囲内に書き直します。

はじめに

「AIの文言に変えたところクリック率が40%上がりました」――このような報告は、会議室の雰囲気を一気に盛り上げます。しかし、いくつか質問を投げかけると空気は一変します。先月と今月を比較したのか、それとも同期間に対象を分けて配信したのか？ クリック率は何を分母として割った値なのか？ その間に割引キャンペーンはなかったのか？ 何人に配信し、結果をいつ確認したのか？ 受信拒否はどうなったのか？

AIはコンテンツを無限に生成できるようにしてくれましたが、その分「どれが本当に優れているのか」を見極める作業が極めて重要になりました。しかし、測定が不十分であればAI導入の効果を誇張してしまったり、逆に実際にある効果を見落としたりします。さらに危険なのは、誤った測定が誤った学習を生み出す点です。偶然勝利した文言を「正解」と見なして次のプロンプトを作成すると、組織全体が偶然に左右されて動くことになってしまいます。

測定は法律とも密接に関わっています。実験群に配信するメッセージも広告であり、受信拒否が増加すれば二度と配信できなくなる顧客が生じますし、品質評価に顧客データを使用すれば個人情報の処理に該当します。そのため、本章の測定原則は第1章と第3章のルールの上で機能します。

本章では、実験の基本文法（問い、指標、ベースライン、無作為割り付け）、統計の最小限の知識（有意水準、検出力、サンプルサイズ）、実務で頻発する測定の誤り、そしてAIコンテンツの品質を評価する方法を扱います。数式よりも判断に主眼を置き、公式ドキュメントで確認できる原則のみを記載しました。

重要な概念

何を証明しようとしているのか

測定は問いから始まります。「AIの文言は良いのか？」は実験不可能な問いです。実験できるように書き換えると、次のようになります。「同期間、同一の顧客層に配信したアプリプッシュ通知において、AIが作成した文言は既存の文言よりも7日以内の購買コンバージョン率を向上させるか？」

優れた実験の問いには4つの要素があります。

コア指標は実験前に1つに定めます。実験終了後に複数の指標の中から見栄えの良いものを選ぶとすれば、それは測定ではなく事後的な解釈にすぎません。

指標の定義：分子、分母、単位

同じ名前の指標であっても定義が異なれば比較できません。クリック率を例に挙げると、分母が「配信数」か「開封数」かによって値が何倍も変わります。開封基準のクリック率は、すでに関心を示した人のみを分母に含めるため、配信基準よりも高く算出されます。

単位も揃えなければなりません。Statsigのドキュメントでは、無作為割り付けの単位（ユーザー、端末など）が同一の値に対しては常に同一のバリアントを表示し、その単位が指標の基準単位になると説明されています。人単位で割り付けたのであれば、指標も人ごとに集計して比較します。このとき「クリックした人の割合」は1人の重複クリックを1回として数え、「1人あたりのクリック数」は繰り返されたクリックをすべて数えます。どちらも使用できますが、どちらを採用するのかを明確に定め、両方の集団に同一の定義を適用しなければなりません。

ベースラインと成功基準

ベースラインは比較の出発点、すなわち現在の成果です。Claudeの評価ドキュメントでは、成功基準を具体的かつ測定可能で達成可能に定めるよう述べており、その例として現在のベースラインに対する一定比率の改善を挙げています。ベースラインは主に2つの用途で用います。

1. サンプルサイズの計算：既存のコンバージョン率が2.0%なのか10%なのかによって、同一の改善を検出するために必要なサンプル数が異なります。
2. 意思決定基準：「ベースラインよりどれだけ向上すれば変更する価値があるか」を事前に定めます。

注意すべき点は、ベースラインを比較対象として使ってしまうことです。「先月の成果がベースラインだから、今月のAIの文言の成果と比較しよう」という設計は、2か月の間に変化したすべての要因（季節、キャンペーン、価格、競合の状況）をAIの文言の効果であると錯覚させてしまいます。

無作為割り付けと同期間の比較

公平な比較の本質は、2つの集団が文言以外のあらゆる面で同一になるようにすることです。その方法が無作為割り付けです。Statsigのドキュメントでは、ユーザーを対照群と1つ以上の処置群に分け、それぞれ異なるバリアントを表示し、無作為割り付けによって各集団が偏りなく代表されるようにすることでバリアントの成果を比較すると説明されています。

無作為割り付けが防いでくれるのは見えない差異です。VIP会員にAIの文言を、一般会員に人間の文言を配信すると、購買力の差が文言の効果のように見えてしまいます。夕方にAIの文言を、午前に人間の文言を配信すると、時間帯の効果が混入します。無作為に振り分け、同じ時間・同じチャネルで配信すれば、このような差異が両方の集団へ均等に分散されます。

一度に1つだけ変更する

Statsigのドキュメントでは、A/Bテストにおいて1つの実験に2つ以上の変更点を持ち込まないよう警告しています。AIの文言の実験で混ざりがちな変更には、次のようなものがあります。

• 文言とともに画像、クーポンの金額、配信時間も変更する場合
• AIの文言側にのみパーソナライズデータを入れる場合（このとき比較されているのは「AI対人間」ではなく「パーソナライズ対非パーソナライズ」です）
• AIの文言を新しいチャネル（例：アプリプッシュ通知）で、人間の文言を既存のチャネル（電子メール）で配信する場合

何を比較したいのかをまず決めてください。「AIが作成した文言そのもの」の効果を見るには、同じ情報を入力して作成者のみを変えなければならず、「AIパーソナライズキャンペーン全体」の効果を見るには、そのパッケージ全体を1つの処置として定義し、そのように報告しなければなりません。

有意水準、検出力、サンプルサイズ

統計的検定には2種類の誤りのリスクが存在します。NIST/SEMATECH統計ハンドブックでは次のように説明されています。実際には差がないにもかかわらず差があると結論づけてしまうリスクをα（有意水準）と呼び、検定はこのリスクが小さくなるように設計されます。実際には差があるにもかかわらずそれを見逃してしまうリスクをβと呼び、このリスクは実際の差の大きさなどによって定まり、サンプルサイズが同一であればαを小さくするほどβは大きくなります。1−βを検出力と呼びます。サンプル数を増やせば、これら2つのリスクを同時に低減させることができます。

結果を読み解く際に用いる2つの道具も知っておいてください。p値は、実際には差がないと仮定したときに、現在のように（あるいはそれ以上に極端に）差が生じる確率であり、αより小さければ有意であると判断します。信頼区間は実際の差が存在し得る範囲を示しており、2つの集団の差の95%信頼区間が0を含まない場合、有意水準5%で有意であると見なします。

サンプルサイズは、これら2つのリスクと検出すべき最小の差（δ）によって決まります。NISTハンドブックの例では、不良率が10%から20%へ上昇する変化を片側検定、α 5%、β 10%で検出しようとする場合、最小サンプルサイズは約102個、連続性補正を行うと112個と計算されます。この例は1つの工程の不良率を基準値と比較する1標本検定です。2つの集団を比較するA/Bテストでは両方の集団の変動がともに反映されるため、同一の条件であってもより多くのサンプルが必要となります。この例がもたらす直観は3点あります。

1. 検出しようとする差が小さいほど、必要なサンプルは大きくなります。サンプルサイズはおおむね検出すべき差（δ）の2乗に反比例するため、差を半分に縮めるとサンプルは約4倍必要になります。
2. 基準値が低い指標（コンバージョン率2%）において小さな改善（0.2%p）を検出しようとする場合、集団ごとに数万人規模が必要となることがあります。
3. サンプルが不足している実験における「有意ではない」という結果は、「効果がない」のではなく「判断するための根拠が不足している」ことを意味します。

繰り返しの確認と逐次検定

実験を開始すると、毎日結果を開いて確認したくなります。問題は、その途中の結果に基づいて意思決定を下してしまうことです。Statsigのドキュメントでは、従来のA/Bテスト（コンバージョン率のような比率指標には主にz検定、売上高のような連続型指標にはt検定）があらかじめ定めたサンプル数に達した時点で一度だけ判定を下すように設計された固定サンプル（fixed-horizon）検定であり、継続的に途中で覗き見ること（peeking）が、設定した有意水準を超えて偽陽性率を跳ね上げてしまうと説明されています。頻度論的な手続きにおいて、早期の判断は偽陽性率を高める方向にしか作用しません。

解決策は2つのうちのいずれかです。事前に計算したサンプル数に達するまで結論を保留するか、最初から繰り返しの確認を前提に設計された逐次検定（sequential testing）を採用することです。逐次検定は、早い時点の結果を読み解くことができるようにp値と信頼区間を調整します。中間結果を見ること自体は問題ありません。データが破損していないかを点検する作業はむしろ必要です。問題なのは、固定サンプル検定の中間結果に基づいて勝者を決定してしまうことなのです。

割り付け比率の不一致（SRM）

50:50で分割したはずなのに、実際の人数比が41:59となった場合は、結果を読み解く前に立ち止まらなければなりません。Statsigのドキュメントでは、割り付け比率の不一致（Sample Ratio Mismatch、SRM）を、各集団の人数が設定した比率から偶然の誤差（無作為性）では説明できないほど乖離した状態と定義し、カイ二乗検定によって検出すると説明されています。SRMは通常、無作為に生じるものではないため、脱落したり追加されたりした人々は元の集団と同質ではありません。

ドキュメントが挙げている原因には次のようなものがあります。インプレッションログを送信する前にアプリやブラウザが停止してしまうバグ、特定の集団においてのみ表示を除外する条件、集団ごとに順次ログを送信する中で一定数を超えると記録が切り捨てられるスクリプト。AIの文言の実験であれば、一方のバリアントでのみ特定の端末やアプリバージョンの表示ログが抜け落ちるケースも考えられます。原因を特定するまでは、結果を結論として利用しないでください。

多重比較

AIで文言のバリアントを12個作成し、既存の文言とそれぞれ比較したところ、1つが有意な結果になったとしましょう。NISTハンドブックでは、可能なすべてのペアに対して比較手続きを繰り返すと、全体の有意水準が1組のペアを比較するときとは異なってくると説明されています。比較を多く行うほど、偶然「有意な」結果が1つくらい出る可能性が高くなります。

対応方法は3つあります。実験前に比較対象を絞り込んで決めておくこと。比較回数を考慮して有意水準を補正すること（ハンドブックでは事前に定めた対比に対してボンフェローニ法などを紹介しています。ボンフェローニ法は、全体の有意水準を比較回数で割ることで各比較の基準を厳格にする手法です）。そして、勝利したバリアントを新たな実験で再確認することです。AIがバリアントを簡単かつ大量に生成できるようになるほど、この問題は深刻化します。

新規性効果と実験期間

新しい文言や新しいバナーは、当初は好奇心から反応が大きくなるものの、時間が経つにつれて落ち着いていくことがあります。これを新規性効果（novelty effect）と呼びます。Statsigのドキュメントでは、新規性効果と適応期間を考慮し、実験をより長い期間実施することを推奨しています。

判断する方法は、平均値ではなく推移を見ることです。週ごとの相対上昇率が35%、14%、6%、2%へと減少している場合、4週間の平均14%という数値は長期的な効果を過大評価してしまう恐れがあります。週ごとの数値にも不確実性が伴うため、推移と信頼区間を併せて確認します。効果が横ばいになる水準まで期間を延ばすか、その落ち着いた水準を基準にして判断してください。

ガードレール指標

ガードレール指標（guardrail metric）は、コア指標を引き上げる間にビジネスの健全性を損なっていないか見守る指標です。Statsigの用語集では、ガードレール指標をビジネスの健全性を測定し維持するように設計された指標と説明しています。

AIマーケティングにおける代表的なガードレール指標は、受信拒否率、アプリ通知のオフ率、迷惑報告（スパム報告）、返品率、顧客からの問い合わせ増加、ブランドトーン違反率です。ガードレール指標ごとに許容限度を実験前に定めておきます。とりわけ受信拒否率は法的な意味合いが大きいです。情報通信網法（韓国）第50条第2項に基づき、受信を拒否した人には再度広告を配信することができないため、受信拒否の増加は、新たに明示的な同意を得るまで広告の到達範囲を狭めるコストとなります。刺激的なAIの文言がクリック率を上げると同時に受信拒否率も引き上げた場合、クリック率だけを見て切り替えてはなりません。

統計的有意性とビジネス上の意義

サンプルが極めて大きければ、ごくわずかな差であっても統計的に有意になります。100万人に配信してクリック率が0.03%p高く出て有意であったとしても、その差は「偶然ではないだろう」という意味にすぎず、「変更する価値がある」という意味ではありません。効果の大きさをAIの文言の生成・レビュー費用、運用のリスクと併せて検討しなければなりません。

だからこそ、実験の前にビジネス上意味のある最小の差を定めておくことが重要になります。この値がサンプルサイズの計算におけるδとなり、結果を読み解く際の判断基準となります。

AIコンテンツの品質評価：コード、人間、LLM

成果実験は顧客の反応を測定し、品質評価はコンテンツ自体が基準を遵守しているかを測定します。AIが毎週数千もの文言を生成するのであれば、品質評価もその規模に見合ったものでなければなりません。Claudeの評価ドキュメントでは採点方法を3つに分類しています。

ドキュメントが挙げているLLM採点のコツは3点あります。詳細で明確なルーブリックを与えること。出力を「合格／不合格」や1〜5点のような具体的な形式で受け取ること。採点モデルがスコアを出す前に推論を行わせることです。また、ドキュメントでは評価対象の出力を生成したモデルとは異なるモデルで評価することを一般的なベストプラクティスとして挙げています。同一のモデルが自らの文言を採点すると、同じ錯覚を繰り返しやすいからです。

成果報告書の書き直し

報告書における誇張は、大抵5つの形態です。

原則は、「測定した指標、対象、期間の範囲内でのみ結論を述べる」ということです。確認されていないことは「確認されなかった」と書くことこそが、誠実な報告です。

さらに深く

「AI対人間」の比較は何を比較しているのか

実務において「AIの文言対人間の文言」の実験は、思いのほか定義が困難です。人間がAIの下書きを修正した場合、それはAIの文言でしょうか、人間の文言でしょうか。プロンプトを変更すれば、同じ「AIの文言」であっても異なる処置となります。人間のコピーライターも毎回同じ品質であるとは限りません。

そのため、実験を設計する際は、処置を作業方式として定義するのが適切です。例えば、「ブランドガイドv3の指示文に基づいてAIが作成し、担当者が事実に関する主張のみを検証した文言」対「コピーライターが最初から作成した文言」のように記述します。結果には文言に対する反応だけでなく、制作時間や検証コスト、保護指標を併記して初めて意思決定に活用できます。AIの文言に対する反応が同等であっても、制作コストが半分であれば、それも有意義な結論となります。

パーソナライズコンテンツの実験単位

AIが顧客ごとに異なる文言を作成する場合、「文言A対文言B」という比較は成り立ちません。このとき比較するのは個々の文言ではなく、文言を作成する方式（ポリシー）です。処置群は「パーソナライズポリシーによって作成された文言を受け取る人々」、対照群は「共通の文言を受け取る人々」であり、割り当て単位は人間です。

この設計において注意すべき点は2つあります。第1に、処置群の中で文言がそれぞれ異なるため、「どの文章に効果があったのか」はこの実験からは分かりません。第2に、パーソナライズに使用したデータが処置の一部となるため、そのデータを使用する根拠（第3章）が処置群全体に対して確認されていなければなりません。

実験も広告であり個人情報の処理である

実験群へ送信するメッセージも広告です。実験であるという理由で、表示広告法（韓国）の実証義務や情報通信網法（韓国）の送信ルールが免除されるわけではありません。より攻めた文言を「テスト」してみたい場合であっても、その文言に含まれる事実の主張はあらかじめ実証可能でなければならず、実験対象者ごとに受信同意や取引関係などの法定例外を確認し、媒体ごとの夜間ルールを遵守する必要があります。実験データの分析において顧客情報を外部ツールへ渡す場合は、委託処理なのか第三者提供なのかを区別して該当する要件を適用し、国外移転の有無も確認します。測定の厳密さと法令遵守は、同じ計画書の中に併記されなければなりません。

実務の場面

ひとくちベーグル：アプリプッシュ通知の文言実験

ベーグルフランチャイズ「ひとくちベーグル」のアプリマーケターは、AIが作成した朝のプッシュ通知の文言をテストしたいと考えました。最初の提案は、「来週の月曜日から全会員にAIの文言を送信し、先週の実績と比較しよう」というものでした。データ担当者は、来週に新メニューの発売が重なる点を挙げ、期間比較案を却下しました。

二人は共同で実験計画書を作成しました。対象は直近60日以内にアプリを開いた会員、割り当ては会員単位で50:50のランダム、配信は同日の同時刻（午後9時〜午前8時の夜間時間帯が終了した後の午前8時30分）と定めました。コア指標は配信後、当日の午前11時までのモバイル注文CVR（配信基準）の1つだけに絞り、保護指標として配信停止率とアプリ通知オフ率を設定しました。従来のCVRは3.2%であり、チームは0.4%p以上向上すれば変更する価値があると判断しました。この数値をもとに算出した必要サンプルサイズに合わせて、実験期間を2週間と設定しました。

実験3日目、AIの文言側のCVRが4.1%とリードしたため、チーム長は早期終了を希望しました。データ担当者は、固定サンプル設計を途中で停止すると偽陽性のリスクが高まると説明し、その代わりに割り当て比率が50:50通りになっているかのみを確認しました。比率は正常でした。2週間後の結果は、CVRが0.5%p上昇（信頼区間に0を含まない）、配信停止率には差が見られないというものでした。報告書には「直近60日のアクティブ会員対象、2週間の実験」という適用範囲と、週ごとの推移（効果が2週間維持されたこと）を併記しました。AIが同時に作成した8つのバリエーションを一括でテストしようという提案は、多重比較の問題を理由に次回の実験へと見送られました。

旅つなぎ：ニュースレター文言へのLLM採点導入

旅行プラットフォーム「旅つなぎ」では、AIを用いて毎週ニュースレターの件名と紹介文2,000件を作成し、ブランド担当者2名がそのうち200件のみをサンプルとして確認してきました。担当者はLLMを用いて残りも採点したいと考えました。

まず基準を分類しました。「禁止表現（最安値保証、100%返金など）が含まれているか」と 「件名が40文字以内か」はコードで検査することにした。「ブランドトーンに合致しているか」と 「誇張された約束があるか」は判断が必要なため、LLMによる採点対象と定めました。担当者はブランドトーンを「合格／不合格」で判定できるよう、ルーブリックとして具体化しました。「読者に対してタメ口を使わない」「感嘆詞は1文につき1つ以下」「確認されていない数値は使用しない」といった項目でした。

次に、担当者2名がすでに採点した文言400件に対し、同一のルーブリックを用いてLLM採点を実行しました。初回の試行における一致率は81%でした。不一致の事例を確認したところ、ルーブリックの「誇張」の項目が曖昧でした。項目を具体例とともに修正したところ、一致率は93%に上昇し、チームがあらかじめ定めた基準（90%）を上回りました。合格判定が大半を占めるデータでは、すべて「合格」とするだけでも一致率が高く算出される可能性があるため、担当者は人間が「不合格」と判定した文言をLLMも不合格として検出できた割合（87%）を個別に確認しました。こうしてようやく2,000件全体にLLM採点を適用し、文言を生成したモデルとは別のモデルを採点に使用しました。また、毎月100件のランダムサンプルを担当者が再度採点し、一致率が低下していないかを点検するルールも追加しました。当初から全体に適用しようという意見や、文言を生成したモデル自身に採点させようという意見は、それぞれ信頼性確認前の拡大と自己評価のリスクを理由に却下されました。

間違えやすいポイント

1. 「先月と今月を比較すればAIの効果が分かる」 期間の合間に変化したすべての要因が混ざってしまいます。同一期間にランダムに分けて同時に比較しなければなりません。
2. 「クリック率はクリック率だ」 分母（配信・閲覧）や単位（人数・クリック数）が異なれば比較できません。
3. 「途中で有意な差が出れば早期に終了してもよい」 固定サンプル検定の途中でデータを確認して判断を下すと、偽陽性が増加します。逐次検定を用いるか、計画したサンプルサイズに達するまで待ちます。
4. 「有意でなければ効果はない」 サンプルサイズが不足していると、効果が存在していても検出できません。検出しようとする差をもとにサンプルサイズを再計算してください。
5. 「割り当て比率が多少ずれていても結果は利用できる」 割り当て比率の不一致は、未知のバイアスの兆候です。原因を特定するまでは結論に用いてはなりません。
6. 「バリエーションを多く作るほど良い文言が見つかる」 比較の数が多くなるほど、偶然の勝者が現れます。補正を行うか、再確認しなければなりません。
7. 「統計的に有意であれば変更する価値がある」 大規模なサンプルでは、ごくわずかな差であっても有意になります。効果の大きさとコストを併せて検討します。
8. 「LLM採点は人間並みに正確なので、直ちに全体へ適用する」 ルーブリックを与えて人間の採点との一致度をまず確認した上で適用範囲を拡大し、文言を生成したモデル自身にその結果を採点させてはなりません。

ひと目でわかるまとめ

公式ドキュメントで確認する

• NIST/SEMATECH e-Handbook — 7.1.3 What are statistical tests?: αとβの意味と関係。
• NIST/SEMATECH e-Handbook — 7.2.4.2 Sample sizes required: 検出しようとする変化δ、α、βからサンプルサイズを計算する例。
• NIST/SEMATECH e-Handbook — 7.4.7 How can we make multiple comparisons?: 繰り返しの比較が全体の有意水準を変動させてしまう問題と補正方法。
• Statsig Docs — Experiments Overview: 対照群と処置群、ランダム割り当て、割り当て単位、一度に1つの変更。
• Statsig Docs — Sequential testing: 固定サンプル検定と繰り返しの確認（peeking）問題、逐次検定。
• Statsig Docs — Sample ratio mismatch: 割り当て比率の不一致の定義、検知、原因。
• Statsig Docs (legacy) — Experiments Overview: ノベルティ効果と実験期間。
• Claude Docs — Define success criteria and build evaluations: 成功基準、コード・人間・LLM採点の長所と短所、LLM採点のポイント。

セルフチェック

4-1. 「AIの文言のほうが優れているか？」という問いを実験可能な問いに書き換え、その問いに含まれる4つの要素を示してください。

4-2. 閲覧基準クリック率と配信基準クリック率が混在したレポートが、なぜ比較に使えないのかを説明してください。

4-3. サンプルサイズを決定する3つの要素を挙げ、検出しようとする差を半分に縮めた場合、必要なサンプルがどのように変化するかを説明してください。

4-4. 実験の途中で結果を覗き見る行為のうち、行ってもよいことと行ってはならないことを1つずつ挙げ、その理由を説明してください。

4-5. AIの文言のクリック率は上がったものの、受信拒否率が2倍になりました。この結果をどのように判断すべきか、保護指標の概念と情報通信網法（韓国）との関係を挙げて説明してください。

4-6. LLMでブランドトーンを採点する前に行うべき3つの事項を、Claudeの評価ドキュメントの推奨に合わせて記述してください。

4-7. （設計）AIパーソナライズメッセージと共通メッセージを比較する実験計画書の各項目（問い、対象、割り付け、指標、保護指標、サンプル、期間、判断基準、法的確認）を埋めて作成してください。

実習課題