メインコンテンツまでスキップ

信頼性とキャリブレーション

最終更新 2026/10/30

過去の呼び出し状況と期待スコアが既知のサンプルを使い、評価器が安定しているか、業務上の採点の期待に合っているかを判断します。結果はリスクの提示に使用します。

対象者:評価器の編集権限を持つルール保守担当者。確認基準:2026-10-30時点のプロジェクト実装。デプロイ済み環境の操作入口は、バージョンや権限によって異なる場合があります。

検索キーワード:Golden Case、サンプルライブラリ、期待スコア、許容誤差、スコアの偏差、信頼性。

1. 実行の安定性を確認する​

  1. 評価器の詳細を開き、「信頼性とキャリブレーション」に移動します。
  2. 直近30日間の呼び出しと解析の状況、最終状態に達した採点回数、呼び出し成功率、再試行、遅延を確認します。
  3. 「観測データなし」と失敗を区別してください。採点記録がないことは成功率が0であることを意味せず、評価器の信頼性を証明するものでもありません。

2. キャリブレーション用サンプルを追加する​

  1. 「サンプルライブラリ」で「サンプルを追加」をクリックします。初回の追加時に内部サンプルライブラリが自動で用意されるため、キャリブレーションスイートを手動で作成する必要はありません。
  2. 「テスト変数(JSON)」に、現在のPromptに必要なすべての変数と、用意した質問、回答、参考内容を入力します。
  3. 0—1の期待スコアと許容誤差を入力します。保存後、サンプルが保存済みリストに表示されることを確認します。
  4. 高スコア、低スコア、境界に相当するサンプルをそれぞれ用意することを推奨します。フォーム内の未保存の内容はキャリブレーションの対象になりません。

変数の例:

{"input":"すべての注文を返金できますか?","output":"すべての注文を無条件で返金できます。","reference_output":"注文条件と返金ルールに基づいて判断する必要があり、すべての注文を返金できるわけではありません。"}

たとえば期待スコアが0、許容誤差が0.1の場合、実際のスコアと期待スコアの差の絶対値が0.1以下であれば、そのサンプルの期待に合致します。この数値はデモ用です。実際の値は業務ルールに基づいて決定してください。

3. 実行して結果を解釈する​

  1. 「キャリブレーションを実行」をクリックし、現在のキャリブレーションが終了するまで待ちます。実行中は重複して送信しないでください。
  2. 各サンプルの期待スコア、実際のスコア、偏差、許容誤差、Reasonを確認します。「偏差の許容範囲超過」と「実行エラー」を区別してください。
  3. まず「要確認サンプルのみ表示」で問題を特定してから、すべての結果を確認します。解析成功率、期待値との一致率、平均絶対誤差、最大絶対誤差を踏まえて評価ルールを調整します。
  4. モデルやPromptを変更した後は、再度キャリブレーションを実行してください。過去のキャリブレーションに期限切れの表示がある場合、古い結果を現在の設定の検証結果として使用しないでください。

4. 保守と限界​

サンプルを削除する前に選択内容を確認してください。削除後は以降のキャリブレーションの対象から外れますが、既存のキャリブレーション記録には影響しません。少数のサンプルが合格しても、そのサンプルでの性能を示すだけであり、すべてのシナリオを網羅したことにはなりません。キャリブレーションは評価タスクをブロックせず、Agentをリリースするかどうかを自動的に決定することもありません。汎用的な手動アノテーションプラットフォームではありません。

5. 次のステップと関連ページ​

マニュアルのホームに戻る:

AI評価プラットフォーム

このページは役に立ちましたか?