メインコンテンツまでスキップ

評価タスクの作成とフィールド照合

最終更新 2026/10/30

データ、評価対象、評価ルールを組み合わせて実行可能なタスクを作成します。画面は「タスク設定」「評価器」「フィールド照合」「高度設定」で構成され、設定後に一時保存または開始できます。

対象者:評価セットと評価ルールを準備済みの利用者。確認基準:2026-10-30時点のプロジェクト実装。デプロイ済み環境の操作入口は、バージョンや権限によって異なる場合があります。

検索キーワード:新規タスク、Agent、大規模言語モデル、プリセット結果、フィールド照合、入力テンプレート、ランダムサンプリング。

1. 開始前の準備​

  • 評価セットのインポートが完了し、サンプルとリリース済みバージョンがあること。
  • 採点用モデルが設定され、評価器が完全に保存されており、リリース済みバージョンがあること。
  • オンラインAgentモードにはアクセス可能なAgent設定、大規模言語モデルモードには評価対象モデルが必要です。プリセット結果モードでは、データ内の既存の回答のみが必要です。

2. 評価対象とバージョンを選択する​

  1. 「評価タスク → 評価タスクを新規作成」を開き、「タスク名」と任意の説明を入力します。
  2. 評価対象、評価セット、リリース済みバージョンを選択します。オンラインモードでは、Agentまたはモデル設定も選択します。
  3. 評価器を1—8個選択し、それぞれのリリース済みバージョンを選択します。「ルール確認」でPrompt全文を確認できます。
評価対象実行方法適用シナリオ
AgentAgentを1件ずつ呼び出し、Judgeで採点します。回答品質、またはエビデンスで裏付けられる場合はツール実行プロセスを検証します。
大規模言語モデルモデルを1件ずつ呼び出し、Judgeで採点します。指定した入力に対するモデルの回答を検証します。Agentのツールエビデンスは生成されません。
プリセット結果Caseの既存内容を読み取り、直接Judgeに渡します。オフライン回答、過去の出力、他のシステムで準備した結果を評価します。

3. フィールド照合を設定する​

左側には呼び出しや採点に必要な変数が表示され、右側では現在の評価セットバージョンから取得元を選択します。表示名とフィールドキーが異なる場合があります。テンプレートの参照には、画面に示された実際のフィールドキーを使用してください。

対象変数オンラインAgentの例プリセット結果の例
Agentのinputquestionフィールドをバインドします。Agentの入力は設定しません。
Judgeのinputquestionフィールドをバインドします。questionフィールドをバインドします。
JudgeのoutputシステムがAgentの実際の出力を渡します。answerフィールドを手動でバインドします。
Judgeのreference_outputreference_answerフィールドをバインドします。reference_answerフィールドをバインドします。

上記のフィールド名は例です。自分のデータ内の実際のフィールドを使用してください。Agentの必須入力はすべて照合する必要があります。各評価器の通常の変数もすべてバインドしてください。変数名が似ているだけで、自動的に関連付けられていると判断しないでください。評価器の変数1つにつき、1つのフィールドをバインドします。

大規模言語モデルモードでは、まず主入力フィールドを自動認識します。自動認識で特定できない場合は、入力フィールドを1つ選択するか、入力テンプレートを使用します。モデルの実際の回答はoutputに自動的に渡されます。プリセット結果のoutputにはシステム出力という意味はなく、他の通常の変数と同様に取得元を選択する必要があります。

execution_status、tool_summary、artifact_summary、execution_trace、tool_callsはAgentの実行に依存します。大規模言語モデルまたはプリセット結果モードでは、これらのエビデンスに依存する評価器を選択できません。

4. 複数のフィールドを入力に組み合わせる​

  1. コンテキストと質問を結合する場合は、該当する入力のテンプレート編集欄を開きます。
  2. 利用可能なフィールドからプレースホルダーをコピーし、以下の形式で入力テンプレートを作成します。
  3. 不明なフィールド、プレースホルダーの構文、長さに関するメッセージを確認し、テンプレートを保存します。テンプレートは、その項目の単一フィールド入力に置き換わり、実行スナップショットとともに固定されます。
業務コンテキスト:{{context}}
ユーザーの質問:{{question}}

オンラインAgentのTEXT入力テンプレートでは、TEXTフィールドのみ参照できます。大規模言語モデルの入力テンプレートでは、任意のタイプのフィールドを参照できます。テンプレートは有効なフィールドを参照する必要があり、最大16000 UTF-8バイトです。現在のバージョンのフィールドがまだ読み込まれていない場合、検証や開始はできません。存在しないフィールドには明示的なエラーが表示されます。大規模言語モデルのテンプレートで、あるCaseに宣言済みフィールドの値がない場合、そのプレースホルダーは空のテキストとしてレンダリングされます。データが業務上の想定に合っているかを確認してください。

5. サンプリング、一時保存、開始​

  1. 「高度設定」でランダムサンプリングするCase数を入力できます。空欄の場合はすべて実行します。入力する場合は、0より大きく、サンプル総数以下の整数を指定してください。
  2. サンプル数と予定採点回数を確認します。予定回数は今回のサンプル数に評価器数を掛けた値であり、すべての採点が最終的に成功することを意味しません。
  3. 設定が未完了の場合は「一時保存」、準備が整ったら「確認して評価を開始」をクリックし、結果ページが開くまで待ちます。
  4. 開始に失敗した場合はメッセージを確認して修正します。下書きは保持されます。重複して開始しないよう、まず実際のタスクステータスを確認してください。

開始するたびに独立してランダムサンプリングを行います。サンプル範囲を固定する場合は、専用の評価セットバージョンを使用してください。画面には「ThinkingAIに送信」スイッチが表示される場合がありますが、現在、データ送信設定の入口は公開されていません。初回評価ではデフォルトのオフを維持することを推奨します。送信機能がデプロイ済みの場合は、管理者が設定を確認してから使用してください。

タスクには、固定された結果フィルターフィールド(TEXT、NUMBER、BOOLEAN)を最大5個含められます。本バージョンの作成画面には専用の選択コントロールがないため、すべての動的列がデフォルトで絞り込みに使用できるとは限りません。結果ページには、実際に固定された設定に従って表示されます。

6. 次のステップと関連ページ​

マニュアルのホームに戻る:

AI評価プラットフォーム

このページは役に立ちましたか?