メインコンテンツまでスキップ

クイックスタート

最終更新 2026/10/30

最小構成の例を使い、サンプルの準備から採点結果の確認まで、初回の評価を実施します。初めて利用する場合は、まず「プリセット結果」を使用し、採点の流れに慣れてからオンラインAgentに接続することを推奨します。

対象者:プラットフォームを初めて利用する業務担当者とテスト担当者。確認基準:2026-10-30時点のプロジェクト実装。デプロイ済み環境の操作入口は、バージョンや権限によって異なる場合があります。

検索キーワード:入門、ログイン、プロジェクト選択、初回評価、プリセット結果。

1. ログインしてプロジェクトを確認する​

  1. 利用環境のAgent評価の入口を開きます。TE SSO環境では画面の案内に従ってログインします。プロジェクト選択画面が表示されたら、権限のあるプロジェクトを選択してください。
  2. アクセス可能なプロジェクトがない場合は、「アカウントを切り替え」を使用するか、管理者に権限付与を確認してください。プロジェクトを選択するまで、評価の業務データは読み込まれません。
  3. ログイン後は「評価セット」「評価器」「評価タスク」「接続設定」が表示されます。管理者には「ユーザー管理」も表示されます。

2. 最小構成の評価セットを用意する​

以下はデモデータであり、プラットフォーム組み込みの業務ルールではありません。内容をUTF-8のCSVファイルとして保存してください。ファイル名の例:first-evaluation.csv。

question,answer,reference_answer
"7日以内に返金を申請できますか?","条件を満たす注文は7日以内に返金を申請できます。","条件を満たす注文は7日以内に返金を申請できます。"
"すべての注文を返金できますか?","すべての注文を無条件で返金できます。","すべての注文を返金できるわけではなく、注文条件と返金ルールに基づいて判断する必要があります。"
  1. 「評価セット」を開き、「評価セットをインポート」をクリックします。名前を入力し、サンプルCSVをアップロードして「インポートを開始」をクリックします。
  2. 詳細画面を開いてインポートの完了を待ち、フィールドと2件のサンプルを確認します。「バージョン履歴」でリリース済みバージョンがあることを確認してください。以降の設定では、実際のフィールドキーを使用します。

3. 採点用モデルと評価器を用意する​

  1. まず「接続設定 → モデル」で、呼び出し可能な採点用モデルを用意します。プロジェクトに利用可能なモデルがあれば、そのまま再利用できます。TE SSOのAE Agentモデルは、現在のログイン認証情報を自動的に使用します。
  2. 「評価器」を開き、「新規作成」をクリックします。名前を入力して作成し、詳細ページを開きます。
  3. 採点用モデルを選択し、以下のPromptを入力します。自動抽出された変数を確認してから「評価器を保存」をクリックし、リリース済みバージョンが生成されたことを確認します。
評価対象の回答が参考回答に合致するかを判定してください。
質問:{{input}}
評価対象の回答:{{output}}
参考回答:{{reference_output}}
採点:完全に合致する場合は1、部分的に合致する場合は0.5、明らかな矛盾がある場合は0。
JSONのみを返してください:{"Score": 0から1の数値, "Reason": "採点の根拠を説明"}

4. 作成して実行する​

  1. 「評価タスク → 評価タスクを新規作成」を開き、現在のプロジェクトで使用されていない「タスク名」を入力します。
  2. 評価対象に「プリセット結果」を選択し、先ほどの評価セットとリリース済みバージョンを選択します。
  3. 先ほどの評価器とリリース済みバージョンを選択し、照合を設定します。inputは質問フィールド、outputは既存の回答フィールド、reference_outputは参考回答フィールドに対応させます。
  4. サンプル数と予定採点回数を確認し、「確認して評価を開始」をクリックします。システムは既存の回答を直接採点し、評価対象のAgentは呼び出しません。

5. 完了を確認する​

タスクが最終状態に達したら、「結果」を開き、有効な採点数、平均スコア、各CaseのScoreとReasonを確認します。「設定」を開いて実行スナップショットを確認します。初回評価の完了基準は、サンプルと採点記録が対応していること、採点の取得元を説明できること、失敗した場合に具体的な失敗段階を特定できることです。

例の低品質な回答は、問題箇所の特定を示すためのものです。LLM Judgeの採点には不確実性があり、毎回まったく同じ数値になるとは限りません。操作に慣れたら、評価対象をAgentや大規模言語モデルに変更してください。手順は「評価タスクの作成とフィールド照合」を参照してください。

6. 次のステップと関連ページ​

マニュアルのホームに戻る:

AI評価プラットフォーム

このページは役に立ちましたか?