メインコンテンツまでスキップ

結果と実行トレースの確認

最終更新 2026/10/30

全体の指標からCaseの詳細へ進み、回答の品質、実行の失敗、採点の失敗を区別したうえで、固定された設定と合わせて評価結果を解釈します。

対象者:結果の分析、低スコアのサンプルのエクスポート、問題の特定が必要な利用者。確認基準:2026-10-30時点のプロジェクト実装。デプロイ済み環境の操作入口は、バージョンや権限によって異なる場合があります。

検索キーワード:平均スコア、有効な採点、合格率、低スコア、エクスポート、失敗後の再試行、Trace。

1. 有効な採点数と失敗数を先に確認する​

  1. タスクを開いて「結果」に移動し、まずタスクのステータス、Caseの実行進捗、有効な採点数を確認します。
  2. 平均スコア、スコア分布、評価器ごとの成功、失敗、キャンセルの件数を確認し、判断を裏付けるだけの結果があるかを判断します。
  3. 「設定」に切り替え、評価セット、評価対象、評価器のバージョン、ランダムサンプリング設定、フィールド照合など、固定された内容を確認します。

平均スコアと分布には、正常に取得できた有効なScoreのみを集計します。失敗やスコアなしは0点として扱いません。1つのCaseに複数の評価器を使用すると複数の採点が発生するため、採点回数はサンプル数と一致しません。たとえば、2件のCaseと2つの評価器で4件の採点が発生し、そのうち3件が有効な場合、「3/2」を成功率として解釈することはできません。

タスクに合格しきい値が設定されている場合、合格率は「しきい値以上の有効な採点数 ÷ 有効な採点数」を表し、失敗とキャンセルは別に表示します。しきい値がない場合や有効な採点がない場合、空欄の指標を0%として扱わないでください。この指標は品質情報を提供するもので、リリースの可否を自動判定するものではありません。

2. 低スコアや失敗のCaseを特定する​

  1. まず「スコア上限」で低スコアの範囲を絞り、「最低スコア優先」を選択して、確認が最も必要なCaseを特定します。
  2. さらに範囲を絞る場合は「その他のフィルター」を開き、評価器、採点ステータス、Caseステータス、実行エビデンスの完全性、キーワードを組み合わせます。
  3. タスクに固定された動的フィルターフィールドがある場合は、テキストの完全一致値、数値範囲、ブール値、フィールドの欠落、NULLで絞り込めます。固定されていないフィールドも詳細画面で確認できますが、リストの絞り込みには使用できない場合があります。
  4. Caseの詳細をクリックしてドロワーを開き、評価内容、Judgeのスコア、Reason、入出力、失敗の原因を確認します。必要に応じて元のデータのスナップショットを確認します。

Agentの呼び出し成功はJudgeの成功と同じではありません。Judgeの解析失敗も、回答の品質が0であることを意味しません。まず評価対象の実行段階と採点段階を切り分けてから、接続設定、データ、評価ルールのどれを変更するか判断してください。

3. 実行トレースを読む​

  1. オンラインAgentのCaseに利用可能なトレースがある場合は、詳細画面の実行トレース領域で収集ステータス、完全性、ステップツリーを確認します。
  2. 問題のあるステップを展開し、ステータスと機密情報をマスキングした入出力のプレビューを確認します。所要時間、Token、コストのデータがある場合は、取得元のカバー範囲を踏まえて解釈してください。
  3. 外部参照のみでステップの詳細がない場合は、安全なリンクから取得元のシステムを開きます。一部欠落、切り詰め、収集未完了のデータを、完全な実行記録として扱うことはできません。

現在のAE Agent / TE Claudeトレースは、主に記録済みのツールと子Agentの呼び出し、親子関係、機密情報をマスキングしたプレビューを対象としています。モデルの完全な推論過程、リモート委任先の内部ステップ、すべての所要時間やコストを含むものではありません。大規模言語モデルの直接呼び出しとプリセット結果には、実際のAgentのツール呼び出し経路はありません。

最終回答の採点はトレースがなくても実施できます。一方、execution_traceまたはtool_callsに明示的に依存するプロセス評価器には、利用可能で完全なエビデンスが必要です。要件を満たさない場合は、その採点のみが失敗し、スコアは空のまま保持されます。収集の再試行に成功しても、既存の過去の採点は自動的に書き換えられません。

4. 失敗したCaseを再試行する​

  1. タスクが「失敗」または「一部失敗」で、Agent段階で失敗したCaseがある場合は、「失敗したCaseを再試行」を使用します。
  2. 確認の説明を読んでください。再試行の対象は、Agent段階がFAILED、BLOCKED、UNKNOWNなどの条件を満たすCaseのみです。成功済みのCaseは再実行しません。
  3. 再試行では現在のRunの固定されたスナップショットを引き継ぎます。新しい結果で対象の失敗Caseの現在の結果を上書きし、集計を再計算します。再試行後もステータスと失敗の原因を確認してください。

この機能で、低スコアの回答すべてやJudgeのみが失敗した項目を任意に再実行することはできません。データ、モデル、ルールを変更して新しい設定を検証する場合は、タスクをコピーし、バージョンと照合を確認してから、新しい評価を開始してください。

5. コピーとエクスポート​

  1. 必要に応じてフィルター条件とスコア上限を設定し、リストがエクスポートする範囲と一致することを確認します。
  2. 「エクスポート」をクリックし、「現在の絞り込み結果」のCSVまたはJSONLを選択します。バックグラウンドでのファイル生成を待ち、ダウンロードします。
  3. 個別のCaseには「構造化JSONをコピー」を使用できます。ブラウザが自動コピーをブロックする場合は、画面の案内に従ってテキストを手動で選択してコピーしてください。

本バージョンでは、現在の絞り込み結果から低スコアのCaseをエクスポートします。低スコア専用のエクスポートメニューはありません。通常のコピーとエクスポートには、Traceのステップ詳細、外部Trace URL、Provider Request ID、ツールのパラメータと結果は含まれません。これらの情報が必要な場合は、アクセス権限のある詳細画面と取得元のシステムで確認してください。

6. 次のステップと関連ページ​

マニュアルのホームに戻る:

AI評価プラットフォーム

このページは役に立ちましたか?