評価テンプレート
評価テンプレートは、再利用可能なJudge Promptを提供します。テンプレートから作成されるのは独立した評価器であり、テンプレート自体はタスクの採点を行いません。
対象者:テンプレートを使用する業務担当者と、プロジェクトテンプレートを保守する管理者。確認基準:2026-10-30時点のプロジェクト実装。デプロイ済み環境の操作入口は、バージョンや権限によって異なる場合があります。
検索キーワード:組み込みテンプレート、プロジェクトテンプレート、有効化、無効化、テンプレートバージョン。
1. テンプレートから評価器を作成する
- 「評価器」を開き、「テンプレートから作成」をクリックします。
- 評価器の名前を入力し、有効なテンプレートを選択して、用途とPromptをプレビューします。
- 作成後に評価器の詳細を開き、モデルを設定して、シナリオに合わせてPromptを調整します。保存後にリリース済みバージョンを確認します。
テンプレートは出発点です。名前が同じでも、必要な変数、回答品質と実行プロセスのどちらに適用するか、必要な実行エビデンスを確認してください。
2. プロジェクトテンプレートを管理する
- 評価器リストで「テンプレートを管理」をクリックします。管理者は「テンプレートを新規作成」をクリックし、名前、カテゴリー、Judge Prompt、任意の説明を入力します。
- Promptの変数は、二重の波括弧の構文に従って自動抽出されます。名前、カテゴリー、Prompt、変数を確認してから作成します。現在の作成フォームでは、テンプレートコードを手動で入力する必要はありません。
- 作成後、リストでコード、バージョン、取得元、ステータスを確認します。システムはテンプレートバージョンを保持します。新しいテンプレートを作成しても、既存の評価器は書き換えられません。
- 今後の使用を停止する場合は、プロジェクトテンプレートを無効にし、再開する場合は有効にします。組み込みテンプレートは読み取り専用のままです。
同じコードでは、現在のプロジェクトの最新の有効なバージョンが優先されます。利用可能なプロジェクトバージョンがない場合は、組み込みテンプレートにフォールバックできます。プロジェクトテンプレートを無効にしても、同じコードの組み込みテンプレートが使用できなくなるとは限りません。テンプレートの有効化と無効化は、その後の作成にのみ影響し、既存の評価器や過去の採点は変更しません。
3. 言語と適用範囲
組み込みテンプレートの名前、説明、Promptは、画面の言語に合わせて表示されます。組み込みテンプレートから作成する際は、その時点の言語の内容が保存されます。その後に画面の言語を切り替えても、保存済みの評価器は再翻訳されません。プロジェクトのカスタムテンプレートは、ユーザーの原文を保持します。
ツール呼び出し経路の妥当性を評価するテンプレートは、オンラインAgentの実行トレースに依存するため、プリセット結果やモデルの直接呼び出しには使用できません。観測できないリモート側の内部プロセスを、これに基づいて推測することはできません。トレースが不完全な場合は、その採点が失敗することがあります。
4. 次のステップと関連ページ
- モデルとPromptの設定を完了:評価器。
- テンプレートから生成した評価ルールを検証:信頼性とキャリブレーション。
マニュアルのホームに戻る:

