メインコンテンツまでスキップ

AI評価プラットフォーム

最終更新 2026/10/30

AI評価プラットフォームは、Agent、大規模言語モデル、既存の回答の品質をチームで一括検証するためのツールです。評価セットでサンプルを用意し、LLM Judge評価器で基準を定義して評価タスクを実行した後、スコア、理由、実行エビデンスを確認します。

対象者:業務テスト担当者、Agent / モデルの保守担当者、評価ルールの保守担当者、プロジェクト管理者。本マニュアルは読者が行う作業別に構成し、各テーマに固定の入口を設けています。関連ページから、他のモジュールの説明も参照できます。

初版の確認日:2026-10-30。本内容は、プロジェクトの現在の製品資料、画面実装、権限ルールに基づいています。デプロイされているバージョンと異なる場合があるため、実際に利用できる操作入口は該当バージョンで確認してください。

1. 初めての利用​

「クイックスタート」で最小構成の評価を1回実施し、必要に応じてオンラインのAgentや大規模言語モデルに切り替えます。

2. 目的から探す​

3. よく使う操作​

4. 主なオブジェクトを理解する​

オブジェクト解決する課題
評価セット / Caseどのデータで評価するか。Caseは1件のサンプルです。
モデル / Agent設定どのサービスを、どの認証情報とパラメータで呼び出すか。
評価器 / LLM Judgeどのルールで採点するか。Score(0—1)とReasonを必ず返します。
タスクバージョン / Run設定の保存方法と、実際の各実行のステータス、スナップショット、結果。

5. 説明の探し方​

データのインポートとバージョンは「評価セット」、評価ルール、テンプレート、キャリブレーションは「評価器」、入力テンプレート、フィールドのバインド、実行結果は「評価タスク」、サービスへの接続と認証情報は「接続設定」、共有とメンバー管理は「権限とメンバー」を参照してください。画面上のパスはかぎ括弧で示しています。デモのフィールド名や数値は、システム組み込みの業務ルールを表すものではありません。

6. 本バージョンの対応範囲と結果の限界​

  • Agent、大規模言語モデル、プリセット結果の3種類を評価対象とし、固定周期の定期評価に対応しています。
  • 採点の失敗やスコアなしは0点とは異なります。平均スコアは有効な採点のみを基に計算します。
  • リリース済みのアセットバージョンとRunスナップショットは、過去の事実を保持するためのものです。その後の編集で過去の結果が自動的に変わることはありません。
  • 実行トレースで説明できるのは、今回の評価で実際に収集したエビデンスに限られます。モデルの完全な推論過程や、汎用的な本番環境の可観測性プラットフォームを提供するものではありません。
  • 現在、デフォルトの画面ではAI Monitorのインポートとデータ送信設定の入口を公開していません。Azureでのモデル新規作成、OpenCodeでのAgent新規作成も、本バージョンの操作対象に含まれません。
  • 自動リリースゲート、汎用的な手動レビュー、Code Evaluator、自動のバージョン間比較は提供していません。

上位マニュアル:Agentic Engine。

このページは役に立ちましたか?