AIサービスの企画 教本

目次

1. この教本の使い方
2. 第1章 AI適用の判断

   AI適用の判断とは何か · 解決策のはしご · ルールと照会が勝るケース · 検索が勝るケース · モデルが必要な問題 · AIが適していない問題 · 自動化と補助 · ワークフローとエージェントを選択する基準 · データ条件 · コスト条件 · 高影響領域への該当有無 · 自動化された決定と個人情報保護法 · AIが不要な要求を選別する問い · AI適用判断メモ · 「モデルが良くなったらやろう」という判断の罠 · 人間が決定すればリスクは消えるのか · コスト比較で抜け落ちやすい項目

3. 第2章 要件と成功基準

   AI機能の要件は何が異なるのか · 判定可能な成功基準 · 成功基準のさまざまな次元 · 適合率と再現率 · 曖昧な要求を基準へと変換する手順 · 入力契約 · 出力契約 · 品質・レイテンシ・コストのバランス · ユーザーに見える失敗体験 · リリース遮断基準と改善目標 · 基準値の根拠 · 要件定義書の構成 · 指標を一つに絞り込みたい誘惑 · エラーの大きさも基準になる · 一貫性はいつ要件になるのか

4. 第3章 評価の設計

   評価とは何か · 評価プロセスの5つのステップ · 評価セットの代表性 · エッジケースとまれな高リスク事例 · 評価セットの出所と規模 · ホールドアウトセットと過学習 · 3つの採点方式 · 採点方式を選択する順序 · LLM採点器を信頼できるようにする · 人間による採点の位置づけ · 能力評価と回帰評価 · オフライン評価とオンライン指標 · 1回の成功と毎回の成功 · 評価結果によるリリース可否の判断 · 評価計画書 · スコアが上がれば改善したと言えるのか · 評価セットの寿命 · オンライン指標の帰属問題

5. 第4章 失敗への対応と人による監督

   失敗は企画の一部である · 捏造された回答 · 拒否と過剰な拒否 · 形式エラー · 一時的な障害とリトライ · 代替ルートと段階적縮小 · 失敗類型別の対応表 · 人による介入ポイント · レビュアーの権限と根拠 · 信頼のキャリブレーションと確信度の表示 · 利用者への告知 · フィードバックと制御 · 形式的承認の罠 · 他のモデルへの自動切り替えの罠 · 免責文言は対応ではない

6. 第5章 リリースと運用

   リリースは測定の始まり · リリース範囲の決定 · リリース方式の比較 · カナリア設計 · 中断基準とロールバック · A/Bテストの条件 · 運用指標の階層 · アラート設計 · モデル・プロンプトの変更管理 · インシデント対応 · 非難のない振り返り · 運用データによる改善の優先順位付け · 段階的リリース計画書 · 指標を変えたいという誘惑 · 静かな品質低下 · 機能を停止する決定

7. 付録A 用語集
8. 付録B セルフチェックの解答と解説
9. 付録C 試験当日のガイド
10. 付録D 参考文書一覧