manuallatest製品マニュアル / AI評価プラットフォーム
AI評価プラットフォーム
AI評価プラットフォームは、Agent、大規模言語モデル、既存の回答の品質をチームで一括検証するためのツールです。評価セットでサンプルを用意し、LLM Judge評価器で基準を定義して評価タスクを実行した後、スコア、理由、実行エビデンスを確認します。
対象者:業務テスト担当者、Agent / モデルの保守担当者、評価ルールの保守担当者、プロジェクト管理者。本マニュアルは読者が行う作業別に構成し、各テーマに固定の入口を設けています。関連ページから、他のモジュールの説明も参照できます。
初版の確認日:2026-10-30。本内容は、プロジェクトの現在の製品資料、画面実装、権限ルールに基づいています。デプロイされているバージョンと異なる場合があるため、実際に利用できる操作入口は該当バージョンで確認してください。
1. 初めての利用
「クイックスタート」で最小構成の評価を1回実施し、必要に応じてオンラインのAgentや大規模言語モデルに切り替えます。
- 初回の評価を実施する:クイックスタート。
2. 目的から探す
- テストサンプルの準備、インポート、保守:評価セット。
- 採点基準の定義とルールの検証:評価器。
- 評価の開始、問題の特定、定期実行:評価タスク。
- モデル、Agent、認証情報の設定:接続設定。
- 共有範囲、メンバー、アクセス権限の管理:権限とメンバー。
3. よく使う操作
- Agent、大規模言語モデル、プリセット結果の選択と入力のバインド:評価タスクの作成とフィールド照合。
- 有効な採点、低スコア、失敗、Traceの解釈:結果と実行トレースの確認。
- 時間、日、週、月単位での実行:スケジュールタスク。
- 組み込みテンプレートやプロジェクトテンプレートからルールを作成:評価テンプレート。
- Judgeが想定どおりかを確認:信頼性とキャリブレーション。
4. 主なオブジェクトを理解する
| オブジェクト | 解決する課題 |
|---|---|
| 評価セット / Case | どのデータで評価するか。Caseは1件のサンプルです。 |
| モデル / Agent設定 | どのサービスを、どの認証情報とパラメータで呼び出すか。 |
| 評価器 / LLM Judge | どのルールで採点するか。Score(0—1)とReasonを必ず返します。 |
| タスクバージョン / Run | 設定の保存方法と、実際の各実行のステータス、スナップショット、結果。 |
5. 説明の探し方
データのインポートとバージョンは「評価セット」、評価ルール、テンプレート、キャリブレーションは「評価器」、入力テンプレート、フィールドのバインド、実行結果は「評価タスク」、サービスへの接続と認証情報は「接続設定」、共有とメンバー管理は「権限とメンバー」を参照してください。画面上のパスはかぎ括弧で示しています。デモのフィールド名や数値は、システム組み込みの業務ルールを表すものではありません。
6. 本バージョンの対応範囲と結果の限界
- Agent、大規模言語モデル、プリセット結果の3種類を評価対象とし、固定周期の定期評価に対応しています。
- 採点の失敗やスコアなしは0点とは異なります。平均スコアは有効な採点のみを基に計算します。
- リリース済みのアセットバージョンとRunスナップショットは、過去の事実を保持するためのものです。その後の編集で過去の結果が自動的に変わることはありません。
- 実行トレースで説明できるのは、今回の評価で実際に収集したエビデンスに限られます。モデルの完全な推論過程や、汎用的な本番環境の可観測性プラットフォームを提供するものではありません。
- 現在、デフォルトの画面ではAI Monitorのインポートとデータ送信設定の入口を公開していません。Azureでのモデル新規作成、OpenCodeでのAgent新規作成も、本バージョンの操作対象に含まれません。
- 自動リリースゲート、汎用的な手動レビュー、Code Evaluator、自動のバージョン間比較は提供していません。
上位マニュアル:Agentic Engine。
このページは役に立ちましたか?

