評価器
評価器はLLM Judgeで回答や実行エビデンスの品質を判定し、採点基準を再利用可能なルールとして蓄積します。採点ごとにScoreとReasonを必ず返します。
対象者:評価ルールの保守担当者と評価の利用者。確認基準:2026-10-30時点のプロジェクト実装。デプロイ済み環境の操作入口は、バージョンや権限によって異なる場合があります。
検索キーワード:LLM Judge、Prompt、rubric、変数、Score、Reason、評価器のバージョン。
1. 評価器を作成して設定する
- 「評価器」を開き、「新規作成」をクリックして名前を入力します。「テンプレートから作成」を選択し、有効なテンプレートをプレビューして使用することもできます。
- 作成後、詳細画面の「基本設定」でカテゴリーと「モデル設定」を選択し、Promptと説明を入力します。初期の下書きはまだ評価に使用できません。
- {{input}}、{{output}}など、二重の波括弧で変数を参照します。変数はPromptから自動抽出されます。名前は小文字の英字で始め、小文字の英字、数字、アンダースコアのみを使用し、最大64文字にしてください。
- 採点基準、モデル、変数を確認し、「評価器を保存」をクリックします。有効な保存が行われると、リリース済みバージョンが自動生成されます。「バージョン履歴」でバージョンを確認してください。
2. 採点基準を明確にする
Promptには、評価の目的、入力と参考回答の意味、段階別の採点ルール、減点条件、出力要件を記述してください。「良し悪しを評価してください」だけでは不十分です。以下の例は業務に合わせて置き換えて使用できます。
あなたは回答の一致性を評価する担当者です。
質問:{{input}}
参考回答:{{reference_output}}
評価対象の回答:{{output}}
参考回答に基づいて採点します。完全に一致する場合は1、正しいが要点の漏れがある場合は0.5、明らかな矛盾がある場合は0とします。
数値Score(0から1)と空でない文字列Reasonを含むJSONオブジェクトを1つだけ返してください。
Scoreは0—1で、高いほど本評価器の基準に合致していることを表します。Reasonは判定の根拠を説明します。出力を解析できない場合、スコアが範囲外の場合、Reasonが空の場合は、その採点を失敗としてスコアを空のまま保持し、0点にはしません。現在はLLM Judgeのみに対応し、カスタム出力フィールドとCode Evaluatorには対応していません。
3. 変数に内容が渡される仕組み
| 変数の取得元 | 設定箇所とルール |
|---|---|
| input、reference_outputなどの通常の変数 | 評価タスクで、現在のCaseの評価セットフィールドを1つバインドします。名前をフィールド名と一致させる必要はありません。 |
| output | オンラインのAgent / 大規模言語モデルのタスクでは実際の出力を使用します。プリセット結果のタスクでは、既存の回答フィールドを手動で選択する必要があります。 |
| execution_status、tool_summary、artifact_summary | オンラインAgentでのみ利用でき、システムが実行エビデンスを提供します。 |
| execution_trace、tool_calls | オンラインAgentのプロセス評価でのみ利用でき、採点に使用できる完全な実行トレースのスナップショットが必要です。 |
ツールや実行トレースに依存する評価器は、大規模言語モデルの直接呼び出しやプリセット結果には使用できません。最終回答の判定とツール呼び出し経路の判定には、2つの評価器を使用し、結果の品質とプロセスの品質をそれぞれ説明できます。
4. Promptの最適化とキャリブレーション
- 最適化する場合は「プロンプト最適化」をクリックし、既存のモデルを選択して提案を生成します。結果を読んでから「確認して反映」をクリックします。
- 反映によって更新されるのはフォームのみです。再利用可能な新しいバージョンを作成するには、評価器を保存する必要があります。
- 「信頼性とキャリブレーション」で期待スコアが既知のサンプルを管理し、解析と採点の一貫性を確認します。詳細は該当するサブページを参照してください。
5. 再利用、バージョン、削除
リストでは検索、コピー、削除ができます。コピーすると独立した評価器が作成されます。保存前に名前、モデル、Promptを確認してください。作業コピーの変更や新しいバージョンのリリースによって、古いバージョンにバインド済みのタスクや過去の結果が変わることはありません。タスクでは、使用するリリース済みバージョンを明示的に選択する必要があります。テンプレートを後から変更しても、既存の評価器は自動更新されません。
6. 次のステップと関連ページ
- 再利用可能な評価ルールを統一:評価テンプレート。
- 採点の性能を検証:信頼性とキャリブレーション。
- 変数をバインドして実行:評価タスクの作成とフィールド照合。
マニュアルのホームに戻る:

