審査案内
- 問題数
- 30
- 審査時間
- 50分
- 合格ライン
- 70点
- 推奨経験
- HTTP APIの開発経験1年以上
すべての問題は五肢択一で、OMR解答用紙にマークします。複数選択・正誤判定は枠内の組み合わせを選ぶ形式、並べ替え・組み合わせは配列を選ぶ形式で出題します。配点は判断問題（L3）が3点、それ以外は2点で、素点を100点満点に換算して1〜9の等級で判定します。
出題領域
1. APIの基本とメッセージ設計20%
2. 構造化出力とツール呼び出し25%
3. パフォーマンスとコストの最適化20%
4. 信頼性とエラー処理20%
5. 評価と運用15%
配分は昇級審査の基準です。稽古・模擬審査の領域構成は異なる場合があります。
何を検証するか
- メッセージ構造とパラメータで望む応答を安定して得る
- 構造化出力とツール呼び出しでアプリケーションと連携する
- ストリーミング・バッチ・キャッシュでレイテンシとコストを減らす
- エラー・レート制限・リトライを堅牢に処理する
- 評価とモニタリングで品質を維持する
対象受験者
- LLM機能を製品に組み込むバックエンド・フルスタック開発者
- AI機能のPoCを本番運用へ移すエンジニア
モデルの事前学習とGPUインフラの運用は扱いません。
領域の詳細
領域1. APIの基本とメッセージ設計
- 知識：メッセージのロール、トークンと最大出力、temperatureなどのサンプリング、モデルの選択
- 技能：要件に合ったモデルとパラメータを選ぶ
領域2. 構造化出力とツール呼び出し
- 知識：JSONスキーマに基づく構造化出力、ツール定義、ツール呼び出しのループ、並列ツール呼び出し
- 技能：スキーマで検証する、ツールの結果を会話に戻す
領域3. パフォーマンスとコストの最適化
- 知識：ストリーミング、プロンプトキャッシュ、バッチAPI、モデルのグレードによるルーティング
- 技能：キャッシュヒット率が上がるようにプロンプトを配置する、レイテンシとコストのトレードオフを判断する
領域4. 信頼性とエラー処理
- 知識：レート制限、指数バックオフ、タイムアウト、冪等性、中断された応答
- 技能：リトライ可能なエラーを見分ける、部分的な失敗から復旧する
領域5. 評価と運用
- 知識：評価セット、ログとトレース、個人情報の取り扱い、モデルバージョンの固定
- 技能：モデルを切り替える前に回帰評価を行う、運用指標を定義する
公式ドキュメント
Anthropic
赤帯教本 · LLM API開発者
練習・模擬審査・教本はすべて無料。本試験の受験時だけお支払いください。