審査案内
- 問題数
- 35
- 審査時間
- 60分
- 合格ライン
- 75点
- 推奨経験
- 黄帯(AIへの頼み方)レベルとサービス企画の経験
すべての問題は五肢択一で、OMR解答用紙にマークします。複数選択・正誤判定は枠内の組み合わせを選ぶ形式、並べ替え・組み合わせは配列を選ぶ形式で出題します。配点は判断問題(L3)が3点、それ以外は2点で、素点を100点満点に換算して1〜9の等級で判定します。
出題領域
1. AI適用の判断20%
2. 要件と成功基準20%
3. 評価の設計25%
4. 失敗への対応と人による監督20%
5. リリースと運用15%
配分は特技審査の基準です。稽古・模擬審査の領域構成は異なる場合があります。
何を検証するか
- 課題とデータ、リスクを踏まえ、AIを使うか他の手法をとるかを判断する
- AI機能の要件と測定可能な成功基準を定義する
- リリース前後の評価方法と採点方式を選定する
- 失敗の類型ごとの対応と人による監督ポイントを設計する
- リリース範囲や運用指標、改善サイクルを定める
対象受験者
- AI機能を企画するPM・サービス企画者
- AI導入課題を選定し、優先順位を決める事業担当者
- AI機能のリリース基準を定めるプロダクトリーダー
モデル学習やサービングの実装、コード記述は扱いません(赤帯「AI機能の開発」の範囲)。
領域の詳細
領域1. AI適用の判断
- 知識:ルール・検索・モデルのうち適切な解決策、AIに適した課題と適さない課題、データとコストの条件、高影響領域への該当有無
- 技能:課題ごとのAI利用の可否と方式の決定、AIが不要な要求の除外
領域2. 要件と成功基準
- 知識:判定可能な成功基準、入出力の契約、品質とレイテンシ・コストのバランス、ユーザーに見える失敗体験
- 技能:曖昧な要求を測定可能な基準に変換、リリースを止める基準と改善目標の区別
領域3. 評価の設計
- 知識:評価セットの構成、コード・モデル・人による採点、オフライン評価とオンライン指標、回帰評価
- 技能:機能に適した採点方式の選定、評価結果に基づくリリース可否の判断
領域4. 失敗への対応と人による監督
- 知識:ハルシネーション・回答拒否・形式エラー、代替経路と段階的縮小、人による確認ポイントと権限、利用者への告知(AI基本法第31条)とフィードバック
- 技能:失敗パターン別の対応設計、人が介入する条件と方法の決定
領域5. リリースと運用
- 知識:段階的リリースと実験、運用指標とアラート、モデル・プロンプトの変更管理、インシデント対応と振り返り
- 技能:リリース範囲と中断基準の決定、運用データに基づく改善の優先順位づけ
公式ドキュメント
Anthropic
국가법령정보센터
特技教本 · AIサービスの企画
練習・模擬審査・教本はすべて無料。本試験の受験時だけお支払いください。