manuallatest製品マニュアル / クイックスタート
クイックスタート
最小構成の例を使い、サンプルの準備から採点結果の確認まで、初回の評価を実施します。初めて利用する場合は、まず「プリセット結果」を使用し、採点の流れに慣れてからオンラインAgentに接続することを推奨します。
対象者:プラットフォームを初めて利用する業務担当者とテスト担当者。確認基準:2026-10-30時点のプロジェクト実装。デプロイ済み環境の操作入口は、バージョンや権限によって異なる場合があります。
検索キーワード:入門、ログイン、プロジェクト選択、初回評価、プリセット結果。
1. ログインしてプロジェクトを確認する
- 利用環境のAgent評価の入口を開きます。TE SSO環境では画面の案内に従ってログインします。プロジェクト選択画面が表示されたら、権限のあるプロジェクトを選択してください。
- アクセス可能なプロジェクトがない場合は、「アカウントを切り替え」を使用するか、管理者に権限付与を確認してください。プロジェクトを選択するまで、評価の業務データは読み込まれません。
- ログイン後は「評価セット」「評価器」「評価タスク」「接続設定」が表示されます。管理者には「ユーザー管理」も表示されます。
2. 最小構成の評価セットを用意する
以下はデモデータであり、プラットフォーム組み込みの業務ルールではありません。内容をUTF-8のCSVファイルとして保存してください。ファイル名の例:first-evaluation.csv。
question,answer,reference_answer
"7日以内に返金を申請できますか?","条件を満たす注文は7日以内に返金を申請できます。","条件を満たす注文は7日以内に返金を申請できます。"
"すべての注文を返金できますか?","すべての注文を無条件で返金できます。","すべての注文を返金できるわけではなく、注文条件と返金ルールに基づいて判断する必要があります。"
- 「評価セット」を開き、「評価セットをインポート」をクリックします。名前を入力し、サンプルCSVをアップロードして「インポートを開始」をクリックします。
- 詳細画面を開いてインポートの完了を待ち、フィールドと2件のサンプルを確認します。「バージョン履歴」でリリース済みバージョンがあることを確認してください。以降の設定では、実際のフィールドキーを使用します。
3. 採点用モデルと評価器を用意する
- まず「接続設定 → モデル」で、呼び出し可能な採点用モデルを用意します。プロジェクトに利用可能なモデルがあれば、そのまま再利用できます。TE SSOのAE Agentモデルは、現在のログイン認証情報を自動的に使用します。
- 「評価器」を開き、「新規作成」をクリックします。名前を入力して作成し、詳細ページを開きます。
- 採点用モデルを選択し、以下のPromptを入力します。自動抽出された変数を確認してから「評価器を保存」をクリックし、リリース済みバージョンが生成されたことを確認します。
評価対象の回答が参考回答に合致するかを判定してください。
質問:{{input}}
評価対象の回答:{{output}}
参考回答:{{reference_output}}
採点:完全に合致する場合は1、部分的に合致する場合は0.5、明らかな矛盾がある場合は0。
JSONのみを返してください:{"Score": 0から1の数値, "Reason": "採点の根拠を説明"}
4. 作成して実行する
- 「評価タスク → 評価タスクを新規作成」を開き、現在のプロジェクトで使用されていない「タスク名」を入力します。
- 評価対象に「プリセット結果」を選択し、先ほどの評価セットとリリース済みバージョンを選択します。
- 先ほどの評価器とリリース済みバージョンを選択し、照合を設定します。inputは質問フィールド、outputは既存の回答フィールド、reference_outputは参考回答フィールドに対応させます。
- サンプル数と予定採点回数を確認し、「確認して評価を開始」をクリックします。システムは既存の回答を直接採点し、評価対象のAgentは呼び出しません。
5. 完了を確認する
タスクが最終状態に達したら、「結果」を開き、有効な採点数、平均スコア、各CaseのScoreとReasonを確認します。「設定」を開いて実行スナップショットを確認します。初回評価の完了基準は、サンプルと採点記録が対応していること、採点の取得元を説明できること、失敗した場合に具体的な失敗段階を特定できることです。
例の低品質な回答は、問題箇所の特定を示すためのものです。LLM Judgeの採点には不確実性があり、毎回まったく同じ数値になるとは限りません。操作に慣れたら、評価対象をAgentや大規模言語モデルに変更してください。手順は「評価タスクの作成とフィールド照合」を参照してください。
6. 次のステップと関連ページ
- 正式なデータを準備:評価セット。
- オンライン評価に切り替え:評価タスクの作成とフィールド照合。
- 採点用モデルを設定:モデル。
マニュアルのホームに戻る:
このページは役に立ちましたか?

