AIセキュリティ教本

目次

1. この教本の使い方
2. 第1章 脅威モデリング

   なぜLLMアプリには専用の脅威モデルが必要なのか · 脅威モデリングの4つの質問 · 資産：何を守るのか · 攻撃対象領域と攻撃者が制御できる範囲 · 信頼境界とデータフロー図 · STRIDEをLLMの構成要素に適用する · OWASP Top 10 for LLM Applications 2025 · 項目間の連鎖：1つの事故を複数の番号で読む · エージェントへ広げる：OWASP Top 10 for Agentic Applications 2026 · フレームワークの地図：NIST AI RMF、Google SAIF、MITRE ATLAS · リスクの優先順位と残余リスクの記録 · 状態を持つシステム：入力と被害の発生時点は異なる · 脅威モデルを要件と検証項目に変える

3. 第2章 プロンプトインジェクション

   定義と根本原因 · 直接インジェクションと間接インジェクション：2つの脅威モデル · ジェイルブレイクとの違い · 攻撃が成立する5つの段階 · 経由する経路の地図：モデルがユーザーの代わりに読むすべて · ツール結果もツール定義も入力である · 3種類の被害：行動の乗っ取り、情報の持ち出し、回答の汚染 · なぜ完全な遮断がないのか · 緩和策1：分離・表示・構造化 · 緩和策2：スクリーニングと検知 · 緩和策3：権限分離・確認・出力制限とその組み合わせ · 正常業務と攻撃の境界：引用・翻訳・セキュリティ教材 · 複数ターンと記憶にまたがるインジェクション · 人による確認の落とし穴：承認疲れと信頼の悪用

4. 第3章 データ保護と権限

   機密情報はどこで漏れるか：データライフサイクル · 最小化・マスキング・仮名化 · 外部AIサービスへ送るデータの条件 · システムプロンプトは秘密ではない · RAGとベクトルストアの権限 · 過剰な代理権：3つの根本原因と8つの予防策 · ツール権限の最小化を設計に落とし込む · 委任と身元：誰の権限で実行するのか · 出力は信頼しない入力である · 出力の安全なレンダリング · モデルが選ぶURLとコード：SSRFとコード実行 · 承認と実行を結びつける · 派生データの隔離：キャッシュ・メモリ・要約・エクスポート

5. 第4章 防御の検証とレッドチーム

   ガードレールの地図：どこに何を置くか · 検査はいつ終わるか：Agents SDKの例 · 分類器：判定エンジンの種類と限界 · 失敗時の動作：判定が出ないとき · レッドチームの定義と交戦規則 · 攻撃シナリオの設計 · 既存の攻撃一覧で範囲を広げる · 評価セットの構成 · 成功の判定：結果で判定する · 防御効果の測定指標 · 継続的なモニタリングと回帰評価 · 何回実行するか：確率的な結果の解釈 · 統制の組み合わせの効果を比較する実験

6. 第5章 運用セキュリティとインシデント対応

   監査ログは何を証明すべきか · ログ自体を守る · ユーザー識別と不正利用の追跡 · 無制限な消費の現れ方 · 予算と遮断装置 · サプライチェーン1：モデルとモデルファイル · サプライチェーン2：ツール・プラグイン・MCPサーバー · 構成一覧とAI BOM、モデルのライフサイクル · 検知信号の設計 · インシデント対応手順 · 遮断スイッチと安全な縮小運用 · 個人情報漏洩の通知と記録 · 証拠保全と個人情報のバランス · メモリ・インデックス・キャッシュ汚染からの復旧

7. 付録A 用語集
8. 付録B セルフチェックの解答と解説
9. 付録C 試験当日のガイド
10. 付録D 参考文書一覧